康谋技术 | 深入探讨：自动驾驶中的相机标定技术

随着自动驾驶技术的快速发展，多传感器的数据采集和融合可以显著提高系统的冗余度和容错性，进而保证决策的快速性和正确性。在项目开发迭代过程中，传感器标定扮演着至关重要的角色，它位于数据采集平台与感知融合算法之间，是确保传感器数据准确性的基础，同时也是实现传感器融合的关键先决条件。

在众多传感器中，相机以其丰富的信息获取能力和成本效益而成为自动驾驶系统中的首选。相机标定可以提高空间定位精度，消除畸变影响，统一传感器数据以及增强系统的鲁棒性。

一、相机的工作原理

通过相机拍摄图像，可以将3D世界投影成2D图像。因此可以把相机模型看作一个从3D空间到2D空间的映射。采用小孔成像模型来描述相机的成像原理。

小孔成像模型由光心、光轴和成像平面几个部分组成，且假设所有成像过程都满足光的直线传播条件。根据光的直线传播理论，空间中的物点反射光经过光心后，投影到平面形成一个倒立的像点。虽然作为理想的成像模型，小孔成像的物理性质极佳，但是实际的相机光学系统中大多是由透镜组成的，在透镜成像中需要满足以下条件：

其中，表示透镜的焦距，表示物距，表示像距，如图1所示。

图1 凸透镜成像原理（来源：笔者自己绘制）

相机成像系统主要有4个坐标系，分别是世界坐标系、相机坐标系、图像坐标系和像素坐标系，如图2所示。世界坐标系通过平移和旋转得到相机坐标系，相机坐标系通过成像模型中的相似三角形原理得到图像坐标系，图像坐标系通过平移和缩放得到像素坐标系。

图2 相机成像系统中4个坐标系之间的关系（来源：笔者自己绘制）

这些坐标系描述了从三维空间到二维图像的坐标变换过程。标定的目标是确定这种变换关系，即三维物体表面点与二维图像对应点之间的关系，从而建立摄像头成像的几何模型。

二、相机的标定参数

相机的标定参数主要包括内参、外参和畸变参数。从世界坐标系到像素坐标系的转换是图像处理和计算机视觉中的关键步骤，它允许我们理解图像中物体的真实位置和尺寸，进而实现各种应用，如自动驾驶中的物体检测与定位。

• 内参是相机自身的固有属性，包括焦距、主点坐标和像素的物理尺寸等信息，这些参数不会因外界环境而改变，可以通过标定获得。相机的内参矩阵

，

内参矩阵是实现图像坐标系与像素坐标系转换的关键。dx,dy 分别表示在x和y轴方向上一个像素占据的实际长度，r 表示径向畸变参数之一，f 表示焦距，u0,v0表示像素坐标下的主坐标点。

• 外参描述了摄像头在世界坐标系中的位置和方向，包括旋转角度和平移参数，它说明了现实世界点是如何通过平移和旋转映射到摄像头坐标系的。其中，R 为旋转矩阵，负责实现坐标系之间的旋转变换。T为平移矩阵，负责实现坐标系之间的平移变换。
• 畸变参数则是用来描述摄像头成像过程中产生的形状改变和扭曲。畸变主要包括径向畸变和切向畸变，即相机的径向畸变系数k1,k2,k3 等和相机的切向畸变系数p1,p2 等。常见的畸变类型，如图3所示。

图3 图像畸变的两种类型（来源：笔者自己绘制）

因此，世界坐标系到像素坐标系的转换关系为：

其中，相机坐标系到图像坐标系转换时，由于相机镜头制造工艺缘故，需要进行畸变桥正。径向畸变是由于透镜形状的制造工艺导致的，且越向透镜边缘移动，径向畸变就越严重。矫正径向畸变前后的坐标关系为：

切向畸变是由透镜和CMOS或者CCD的安装位置误差导致的。切向畸变需要两个额外的畸变参数来描述，矫正前后的坐标关系为：

因此，一共需要5个畸变参数。求出上述这些参数即完成了标定过程。

三、标定方法

标定方法是视觉领域中摄像头校准的关键步骤，直接影响视觉系统的输出结果。主要的标定方法包括自标定、根据参照物进行标定和基于主动视觉的标定法。

在这些方法中，张正友标定法因其简便、高精度和广泛的适用性而备受推崇。它利用双平面棋盘格结构作为标定物，通过观察棋盘格在不同视角下的图像，可以计算出相机的内外参数。克服了传统方法需要高精度标定物的缺点，并提高了自标定的精度。张氏标定法的主要贡献在于提出了计算相机参数优化初值的方法，成为计算机视觉领域广泛应用的标定方法之一。

张正友标定法的整体流程如下：

1. 制作标定板并从不同角度（平移、旋转）拍摄若干张图像（10-20张）。
2. 检测图像中的特征点。
3. 求解理想无畸变情况下的内参、外参。
4. 使用最小二乘法求出实际的径向畸变参数。
5. 使用极大似然法优化估计，结合内参、外参、畸变参数，提升估计精度。
6. 得到实际的内参、外参、畸变参数。

相机标定是自动驾驶系统中不可或缺的一环，它直接影响到系统的感知能力和决策准确性。通过深入理解和掌握相机标定的技术要点，我们可以为自动驾驶车辆提供更加准确和可靠的视觉感知能力，推动自动驾驶技术的发展和应用。

作者介绍：郑工

康谋科技高级自动驾驶技术研发工程师，拥有超过5年的汽车电子和自动驾驶数据分析经验，专精于高精度传感器数据的获取、整合与优化。在数据采集技术方面造诣深厚，尤其在车载网络和实时数采系统上富有实践成果，设计并优化了多种数据采集与传输方案。曾多次代表公司参加海外技术研讨会和培训项目，深入了解国际自动驾驶行业的最新动态和技术趋势，积累了丰富的国际视野。