康谋技术 | 多传感器数据融合技术与策略解析

一、多传感器融合的先决条件

当多种传感器装在同一辆车上时，使用同一个系统来采集并处理数据。为了确保这些传感器采集的数据能有效精准识别同一个物体，需要对这些传感器进行统一时钟和坐标系，即最终实现：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。

图1：传感器融合先决条件

1、统一时钟

确保所有传感器数据在时间上的一致性，为后续处理提供同步基准。关于时间同步的详细内容可见往期内容：

《自动驾驶：揭秘高精度时间同步技术（一）》

《自动驾驶：揭秘高精度时间同步技术（二）》

2、统一坐标系

统一坐标系包含两步，一是运动补偿，二是传感器标定。

① 运动补偿：确保数据时效性

运动补偿是针对周期性采集数据的传感器，如激光雷达（LiDAR），其数据采集周期可能长达100毫秒。由于车辆在运动，采集周期的开始和结束时刻，车辆的位置已经发生了变化。这就需要对采集的数据进行运动补偿，以确保数据反映的是车辆在某一固定时刻的环境状态。

② 传感器标定：确立坐标转换

传感器标定是确保每个传感器的数据都能准确映射到世界坐标系中的过程。它包括内参标定和外参标定两个部分。

二、多传感器融合方法

在多传感器采集系统中做好统一时钟和统一坐标系后，就可以将这些数据进行融合了。关于具体做法，这里举一个简单的例子：

1、相机与LiDAR融合

在实现激光雷达与相机标定、运动补偿和时间同步后，通过多传感器深度融合，执行几何变换将三维点云数据投影至二维图像平面，实现物理空间到视觉空间的映射。最后，整合深度信息与图像像素数据，形成深度标签图像，从而为自动驾驶车辆的环境感知系统提供更为丰富和精确的数据支持。

2、融合方式

根据数据在整个流程中融合的不同位置，常见的融合方式可分为前融合、深度融合和后融合。

图2：常见的融合方式

3、应用场景

在多传感器融合中，前融合、深度融合和后融合各有优势和适用场景。