TOF 相机即 Time to Flight 相机,从原理上讲与 Flash 激光雷达完全一致,没有任何区别,TOF 相机更多时候被称为深度相机或 3D 相机。Flash 激光雷达又叫焦平面成像激光雷达。实际 TOF 相机与传统机械扫描激光雷达也差不多,传统机械扫描激光雷达是逐点扫描成像,而 TOF 是一次照射成像。
TOF 相机与激光雷达的区别只是应用范围的差别,目前大多数 TOF 相机用在手机等近距离(2 米以内)领域,汽车用激光雷达则在(0.2-250 米之间)。再有就是机械扫描激光雷达是 360 度覆盖的,TOF 相机一般水平 FOV 为 55 度。与传统相机比,TOF 相机是主动发射激光,激光到达物体表面返回,被激光雷达的光电接收二极管接收到。根据光速或相位计算光源与目标之间的距离,最终形成深度图像。传统相机是自然光线到达物体表面返回到传统相机传感器里的光电二极管内,根据反射光的强度最终形成图像。
TOF 相机原理与激光雷达无丝毫区别
TOF 相机相比激光雷达优势非常明显,最大的优势是体积和成本,TOF 相机体积可以很小,与普通相机没有区别,TOF 相机集成度高,可以用半导体工艺制造,在芯片上集成图像传感器阵列(Image Sensor Array)、读出电路(Read-Out)和镜头。再配合 VCSEL 发射激光,整套系统理论成本和手机上的 TOF 相机一样,不超过 30 美元。
其他优点还有:刷新频率高,线扫描激光雷达刷新频率一般是 5-10Hz,Flash 激光雷达可以轻易做到 KHz。读出电路简单(就是一个积分电路可集成在传感器新品内),算力需求极低,无需昂贵的 GPU 或 FPGA 做运算单元。分辨率高,目前量产的 TOF 相机,如松下的像素为 640*480,水平 FOV 为 55 度,垂直 FOV 为 41 度,10Hz 的话也就是每秒 300 万点,而 Velodyne 的 64 线激光雷达每秒 130 万点,但这是 360 度扫描的,如果只是 55 度,那么只有大约 20 万点,远低于 TOF 相机,TOF 相机相当于 960 线激光雷达。而最新的 TOF 相机已经达到 100 万像素,也就是大约 3168 线激光雷达。
上图为松下 TOF 相机的参数,松下的 TOF 相机可以输出深度图像、RGB 图像和 NIR 图像。不过有效距离应该不超过 4.5 米。
传统解决有效距离的方法是使用单光子接收光电二极管,传统激光雷达接收光电二极管是 APD。APD 即雪崩二极管有两种工作模式,一种是雪崩模式,或者叫线性模式,另一种叫盖革模式,也就是单光子探测模式(Single Photon Diode SPD)。在盖革模式下,雪崩二极管接收到一个光子的话,就会发生雪崩现象,使电流达到最大值,这个过程一般是瞬态的(一般不到 1ps),这样就可以在极短的时间内对光子进行计数。利用 TDC(时间数字转换器,一种积分成像技术,包含 TAC 和 ADC 两步)可以直接生成 3D 数字图像信号。缺点是高功率的 SPAD 一般需要用 1550 纳米的 InGaAs/InP 工艺的 APD,而这种 APD 成本比较高。不过拥趸依然不少,典型代表是德国大陆汽车、IBEO ZF、Ouster、Argo 和丰田。
2016 年 9 月,前 Google 员工 Salesky 和前 Uber 员工 Peter Rander 联合创办了 Argo AI。2017 年 2 月,福特公司 10 亿美元注资 Argo AI。Argo 得到福特资金支持后,立刻展开收购,2017 年 10 月,ArgoAI 收购了激光雷达初创公司 Princeton Lightwave,具体交易额不详,估计在 1 亿美元上下。PrincetonLightwave 源自知名的普林斯顿大学,2000 年成立,主要方向测绘领域的单光子激光雷达,2016 年才开始进军汽车领域。PrincetonLightwave 虽源自普林斯顿大学,但其技术来源是 MIT 的林肯实验室,全球最顶尖的单光子激光雷达实验室。2014 年林肯实验室将单光子激光雷达技术授权给两家公司,一家是波音旗下的 Spectrolab,另一家就是 Princeton Lightwave。波音 - 西科斯基将单光子激光雷达用在美军下一代直升机上。
丰田早在 2010 年就开始研发单光子激光雷达,2014 年和 2015 年均有产品问世。
尽管在 2017 年丰田 TRI 投资了 Luminar,但这并不意味着丰田放弃了单光子,在 2017 年底,丰田中央研究院发表了有关单光子激光雷达的论文 SPAD DCNN: Localization with Small Imaging LIDAR andDCNN,文中低调地提到了丰田的第三代单光子激光雷达。
IBEO 的固态激光雷达核心也是 VCSEL 和 SPAD。
相对微机械和 MEMS,IBEO 的可靠性和灵活性要高得多,相对无法扫描的 Flash 激光雷达也有一定优势。
IBEO 的单光子激光雷达能输出点云和反射强度信息,部分 Flash 可能无法输出反射强度信息。
IBEO 称之为 ibeoNEXT Generic 4D Solid State LiDAR。水平 FOV 可选择 11.2 度、60 度和 120 度。称之 4D 是反射强度信息,反射强度信息近似于传统摄像头的灰度图像,可以用传统的图像识别算法分类。
2019 年 8 月 27 日,WEY 品牌母公司长城汽车与激光雷达厂商 Ibeo、北京亮道正式签署了激光雷达技术战略合作协议,三方合作的产品基础就是 ibeoNEXT Generic 4D Solid State LiDAR。
SPAD 不仅拥有远距离,还拥有高信噪比、高人眼安全和高分辨率优势。对于传感器来说,信噪比是最重要的参数之一。非相干激光雷达的信噪比 SNR 方程可以表示为:
从上面公式可以看出,要提高信噪比,最简单有效的方法是提高接收信号光功率和量子效率。单光子或者说盖革模式下的的 APD 其量子效率是机械旋转雷达用的硅 PIN 二极管的数百乃至上千倍。
要提升功率,就不得不考虑人眼安全,对于常用的 905 纳米来说是不合适的,只有 1550 纳米的 InGaAs,和 905 纳米的硅光电探测器相比,要安全上千倍,,可以毫无顾虑地加大激光器的功率。固态激光雷达领域知名的 Luminar 就是以使用 1550 纳米的 InGaAs 为特色的,其使用的激光器的功率是传统硅光电系统的 40 倍,不仅提高信噪比,减小脉冲宽度至 20 纳秒以下,脉冲重复频率低于 100MHz,占空比低于 1%。同时提升了有效距离,在雨雪雾天,物体的反射率会降低,导致激光雷达有效距离缩短,不过加大功率,就可以解决这个问题,Luminar 就是这么做的,Luminar 强调即使 10%反射率的物体,有效距离也可以达 200 米。
关于激光功率的放大,Luminar 申请了专利。其专利是用二级大模场掺铒光纤(EDFA)放大器将一个种子源激光调制为一个脉冲宽度至 20 纳秒以下,脉冲重复频率低于 100MHz,占空比低于 1%的脉冲激光系统。Luminar 的专利核心一个是种子源激光,另一个是掺饵光纤放大器。
激光雷达的 Z 轴分辨率取决于脉冲宽度,激光雷达里有个简单的公式,激光雷达的 Z 轴分辨率是脉冲宽度的 1/6,10 纳秒的脉冲宽度分辨率大约就是 1.6 米。Velodyne 的 64 线激光雷达 HDL-64E 早期的脉冲宽度是 10 纳秒,据说改为双反射后提高到 5 纳秒。大部分固态激光雷达一般是 50-150 纳秒,单光子可以轻易做到 1 纳秒甚至是几十皮秒。远远好于大部分激光雷达。
再来说光束角,光束角也在一定程度上决定有效距离,使用 MEMS 的激光雷达光路复杂,光束角都很大,一般是 10mrad 以上,Flash 型激光雷达一次成像,光路简单,光束角比较小,可以做到 1mrad,单光子也是一种 Flash 型激光雷达。Velodyne HDL-64 的光束角为 8mrad。
2020 年 2 月,松下在国际固态电路 Solid-State Circuits Conference 宣布开发了有效距离 100 米最远 250 米,且达 100 万像素的 TOF 图像传感器。标志着单光子激光雷达最终将一统江湖。
松下对传统的 SPAD 进行了改进,从平面型改为垂直堆叠型,这来自松下早年在 CCD Image Sensor 领域积累的丰富经验。改进后每个像素元的尺寸大大缩小,意味着像素可以更高。
为提高精度各距离范围内采用不同的技术,10 米内是传统的非直接 TOF 技术,即相位检测,精度可达毫米级。10 米到 100 米内采用光子累加和时域非直接 TOF 技术,精度为厘米级。超过 100 米采用直接 DOF,精度为 1.5 米。不仅是松下,三星、索尼、意法半导体、Omnivision、还有收购了爱尔兰 Sensl 的安森美都在开发类似的 TOF 图像传感器。
三星 TOF 图像传感器芯片截面分析
这种传感器一旦量产,将碾压现有任何非 360 度旋转型激光雷达,无论功耗、刷新率、成本、性能、体积、车规,都具备压倒性的优势。