自动驾驶汽车所需的传感器中，摄像头和激光雷达有很强的互补性。激光雷达获取的深度数据精度高，不容易受外界环境光照情况影响。摄像头采集的图像分辨率高，更擅长辨别色彩。假如把两种传感器做成一体化方案，自动驾驶汽车就获得了一个更强大的感知工具。
▲Pandora样机实物大小
12月28日，禾赛科技联合百度Apollo发布了一款“激光雷达+摄像头”一体化传感器Pandora，并提供多传感器融合和感知识别算法，最后以传感器融合套件的形式提供给自动驾驶从业者。
Pandora是一个腰身略细的圆柱体，主要有两部分组成，上部是禾赛科技自主研发的40线激光雷达Pandar(关于这款激光雷达，车云菌有过介绍)，探测距离达到了200m，水平视角360°、垂直视角23°，最小角分辨率达到了0.33°。下部是4个360°全景摄像头(灰度)和1个前视摄像头(彩色)。产品安装位置是车顶，用于自动驾驶汽车感知周围的环境信息。
虽然集多个传感器于一身，Pandora的设计思路里，激光雷达是主传感器，摄像头起到的是辅助作用。比如前向彩色摄像头的一个重要应用，就是辅助判断红绿灯的亮灯状态，弥补了激光雷达不擅长区分色彩的短板。
其实在禾赛科技与百度Apollo之外，不少公司已经开始提供激光雷达-摄像头一体化产品，而且渐渐成为了近期自动驾驶领域的一个大趋势，现象背后的原因主要是为了方便做传感器融合。
▲两种传感器融合方案
Pandora采用的传感器融合方案是早期融合，先将激光雷达、摄像头、毫米波雷达的数据在时间和空间上对齐，之后再通过感知识别算法，识别追踪不同目标并加上标注信息。
在空间对齐方面，以往分散在车身周围的传感器，标定时的工作量很大。一体化设计等于是把摄像机和激光雷达相对位置进行了固定，方便将激光雷达和摄像头的数据对齐到一个坐标系中去。
时间戳同步方面，以往分属不同厂商的摄像头和激光雷达传感器，接口不统一，不能做到同一时间采集相同的信息，一般会存在几百毫秒的误差。禾赛科技负责整个Pandora产品的架构，会把控激光雷达与摄像头的触发时机 ，保证两个传感器信息采集的同步，输出点云和图像数据。
下面是Pandora目前提供的传感器融合数据效果。
▲Pandora装车
禾赛科技CEO李一帆告诉车云菌，禾赛科技今年7月加入了百度Apollo生态，不久就开始从零定义这款产品。对于禾赛科技与百度Apollo的这次合作，是一起做一件缩短研发时间的基础工作。
Pandora的研发过程中，双方确定了传感器系统的选型标定、摄像头和激光雷达的融合、再到输出最基本的目标物体追踪。这些事对于研究自动驾驶其他部分的团队来说，是一项耗时但无关本身技术研发的工作。帮助其他开发者省下时间专注本身的核心业务，这点和Apollo支持研发的设定相符。
根据预告，Pandora未来会在禾赛科技自建的工厂中完成生产，Apollo联盟成员和合作伙伴可以优先获得Pandora的技术支持和产品信息，享受最佳供货期和最优购买价。
但值得一提的是，虽然Pandora是当天的主角，但因为内部仍然保留了机械运动部件，所以这款产品的定位应该是测试研发，而不是车规量产。
▲禾赛科技固态激光雷达Pandar GT
这也是现场还有不少人在关心禾赛科技固态激光雷达产品Pandar GT的原因。选用1550nm激光光源，水平视角40°，垂直视角25°，水平和垂直角分辨率均为0.1°，最远探测距离200m(反射率10%)，目前处于原型机状态。从技术方案到技术参数，Pandar GT都更加接近商用量产的期待。
▲从左到右分别为禾赛科技的32线激光雷达、40线激光雷达Pandar、固态产品Pandar GT和Pandora
未来的激光雷达一定会向着小型化、低成本、高性能的方向在发展，激光雷达的技术方案处在百家争鸣的阶段。百度Apollo与禾赛科技的合作，为自动驾驶软件算法以及整体技术的推动提供了便利，在变现和积累经验的同时，等待一款真正适合车规量产的传感器诞生。
