AI大模型研究：NOA和大模型推动ADAS行业巨变

佐思汽研发布《2023年汽车AI算法和大模型应用研究报告》。

近期发生的一些事情，让主机厂和中小ADAS公司感到不安，自动驾驶产业变革的速度，超出绝大多数人预期。

2022年各大汽车论坛，各ADAS公司主要宣传的是行泊一体方案，不少ADAS公司还为行泊一体方案在2023的市场爆发备货不少。到了2023年，在降本压力之下，各主机厂并没有大规模投入行泊一体。反而，在华为、毫末智行、百度、新势力车企的带动下，2023年竞争和宣传主旋律直接转向了高速NOA和城市NOA。

根据某自媒体的爆料，以及来自渠道的证实，西南某主机厂一开始委托多家中型Tier1联合做的高速NOA项目并不理想，导致该主机厂开始把NOA项目重新委托给一线Tier1——大疆和华为。华为原本在高端车型上做NOA，今年开始推出中低端方案，与中小ADAS Tier1开展竞争。

同时，新势力车企开始卷开通NOA的城市数量。8月底，特斯拉直播FSD V12的自动驾驶表现。FSD V12是有史以来第一个端到端AI自动驾驶系统。马斯克表示：“V12系统从头到尾都是通过AI实现。我们没有编程，没有程序员写一行代码来识别道路、行人等，全部交给了神经网络”。FSD V12的C++代码控制减少了10倍，从2万多行减少到2千行。特斯拉99%的决策都交给神经网络给出，视觉输入，控制输出，就像人类大脑一样。另外，FSD V12所拥有的超强能力，是经过巨量的「视频数据」训练，是在1万个H100加持下完成的。

FSD V12的自动驾驶表现让人惊艳，自动驾驶在AI大模型的支持下正面临临界点。据称FSD V12在2024年会进入中国，经过对中国道路的训练后，2025年会大规模上车。9月12日，余承东称问界城区NOA到2023年底全国主要城市都能开（据华为方面补充称，全国的城市都能开的含义，并不是全国所有城市的所有道路都能开，车辆需要行驶在有清晰道路边界的结构化道路上）。特斯拉和华为两大自动驾驶标杆，给其他车企和ADAS Tier1都带来了巨大的压力。

ADAS行业将何去何从？主机厂和ADAS企业正如何面对AI大模型和NOA带来的挑战？《2023年汽车AI算法和大模型应用研究报告》梳理ADAS算法和AI大模型的发展历程，挖掘AI大模型在汽车领域的发展方向。

端到端自动驾驶带来哪些改变？

自动驾驶算法系统分为端到端自动驾驶和模块化自动驾驶两类。模块化自动驾驶系统分为三层：环境感知层、决策规划层和控制执行层。在模块化自动驾驶系统中，不同团队负责不同的模块，可以实现更好的分工协作，从而提高开发效率。缺点就是整个系统非常复杂庞大、需要人工设计成百上千个模块。

端到端自动驾驶是指车辆将传感器采集到的信息（原始图像数据、原始点云数据等），直接送入到一个统一的深度学习神经网络，神经网络经过处理之后直接输出自动驾驶汽车的驾驶命令（方向盘转角、方向盘转速、油门踏板开度、制动踏板开度等）。在端到端自动驾驶中，没有人工设计的繁复规则，只需要极少的来自人类的训练数据，深度学习神经网络就会学会驾驶，且不用关心有没有高精地图覆盖。

当自动驾驶发展到城市NOA阶段，模块化自动驾驶算法已不能满足需要，端到端自动驾驶算法开始成为主流。并且模块化自动驾驶算法的积累，大多数不能迁移到端到端自动驾驶时代，基本上得重新开始。因此，当2023年比亚迪才开始大规模介入自动驾驶开发时，并不算晚。比亚迪宣称：“结合BEV感知等大模型的技术，是比亚迪的高阶智驾能够形成弯道超车的一个机会。并且智能驾驶与易四方平台结合，比亚迪正在研发出一些比较具有特色的高阶驾驶辅助功能。”

比亚迪说的换道超车，就是跳过模块化自动驾驶，直接进入（以AI大模型为基础的）端到端自动驾驶。

早期的自动驾驶感知算法主要是基于传统计算机视觉技术，直到 2010 年之后随着深度学习技术的发展，神经网络被引入到自动驾驶感知算法中，自动驾驶汽车的感知效果有了质的提升。应用于感知层面的神经网络模型可以分为两类，一类是以 CNN、RNN 为代表的小模型，另一类是 Transformer 大模型。

Transformer 是一种基于注意力机制（Attention Mechanism）的神经网络模型，由谷歌 2017 年论文《Attention is All You Need》提出，相比 RNN 的优势在于可并行计算、且能够处理长序列的输入，较CNN 的优势在于保留了位置信息、且解决远距离特征依赖问题。因此，Transformer 模型成了自然语言处理领域中最流行的模型之一。特斯拉率先将Transformer 引入到自动驾驶算法中，其他新势力车企和传统车企的新品牌纷纷跟进。

特斯拉自动驾驶算法迭代历程

为什么需要AI大模型？

城市NOA的需要：目前，主机厂正逐步从高速领航辅助驾驶向城市领航辅助驾驶（城市NOA）拓展。而从高速场景拓展到城市场景，意味着车辆所遇到的长尾问题（ Corner case）大幅增加。高速场景在特定路段下较为封闭，交通环境的标准化程度高；且高速驾驶规定对车辆的驾驶行为进行了明确的规范，交通参与者单纯不涉及到行人，并且驾驶状态的可预测性更强，因此高速 NOA 成为率先落地的场景。然而，城市场景下道路及路况复杂（红绿灯路口）、交通参与者多（行人、低速两轮车）、场景异质性强（不同城市甚至不同路段路况差异性大），自动驾驶遇到的 Corner Case大幅提升。因此，城市领航辅助驾驶的落地需求对自动驾驶模型的泛化能力提出更高的要求，同时考虑到商业化落地的成本约束，应用 AI 大模型提高泛化能力+降低/控制车端硬件成本是自动驾驶算法演变的核心脉络。

脱离高精度地图和降本的需要：2022年之前，国内主机厂实现城市领航辅助驾驶落地的主要基于高精度地图+单车感知的方案，但在实施过程中发现高精度地图最为突出的三个问题为：1）无法做到实时更新；2）法规风险；3）高成本。自动驾驶感知算法向 BEV+Transformer 架构升级，助力城市领航辅助驾驶脱高精度地图。

BEV 感知模型显著提高了在极端天气工况下的应对能力：在后融合模型下，如果遇到雨雪天极端天气工况，摄像头采集到的数据/视频流清晰度大幅下降，很难达到摄像头判断合格的标准，因此传递给后端做规划控制的结果大幅下降。与后融合模型不同，从不同视角的摄像头采集到的图片转换到 BEV 视角的过程中是特征级的融合，比如在极端天气工况下有一些光子信息依然反应了前方障碍物的情况可以用于后续的规划控制，在特征级融合的框架下感知模型对数据的利用率明显提升。

AI大模型除了在自动驾驶领域有成功的应用外，在智能座舱领域也有广阔的应用前景。MIT2020（5G）推进组C-V2X工作组组长葛雨明表示，大模型对智能座舱的影响可体现在三个方面：

图片来源：华为

如何面对AI大模型带来的挑战？

大数据和大算力是AI大模型应用的重要前置条件。Transformer 大模型量变引起质变需要 1 亿公里及以上的里程数据。并且，传感器采集得到的原始数据需进行标注后才可用于算法模型训练，自动标注工具可大幅提升数据处理速度。2018 年至今，特斯拉数据标注从 2D 人工标注逐步发展至 4D空间自动标注；国内厂商中小鹏、毫末智行等亦相继推出自动标注工具，大幅提升标注效率。除真实数据外，仿真场景是弥补训练大模型数据不足问题的重要解决方式。

生成式 AI 有望推动仿真场景大幅提升泛化能力，帮助主机厂提升仿真场景数据的应用比例，从而提高自动驾驶模型的迭代速度、缩短开发周期。

大算力是 Transformer 模型训练的另一重要条件，超算中心成为自动驾驶厂商重要的基础设施。特斯拉 AI 计算中心 Dojo 总计使用了 1.4 万个英伟达的 GPU 来训练 AI 模型，网络训练速度提升 30%，国内厂商中小鹏与阿里联合出资打造自动驾驶 AI 智算中心“扶摇”，将自动驾驶算法的模型训练时间提速 170 倍。

除了已经切入大模型应用，资金充裕的蔚小理等少数OEM，其他主机厂很难像特斯拉那样，在大数据大算力、超算中心、AI芯片自研上全面投入，借助AI大模型供应商的力量完善大模型应用水平，是相对务实的做法。

对于中小ADAS Tier1，独立推出能与华为NCA竞争的NOA方案基本不可能，智算中心的巨大投入就是逾越不了的高山。同时主流车企都开始转向自动驾驶自研，留给中小ADAS Tier1的机会越来越少，行业整合成为必然。一是加快上市步伐成为整合者，第二是寻求被并购的机会。行业大变革之下，有风险也有机会。华为等IT巨头员工成本高昂，主机厂也不愿意受IT巨头制约，因此中小ADAS Tier1也不是没有生存空间。中小ADAS Tier1下一步做好资源整合非常关键，在舱驾融合、跨域融合的趋势下，与AI大模型企业（如云知声、商汤、思必驰等）紧密合作，与座舱上市公司紧密合作，与底盘域企业紧密合作等等，都是可选项。

同样，AI大模型也给后来的AI芯片公司带来了机会。传统智驾SoC和座舱SoC供应商的大算力芯片并不完全符合AI大模型的需求，新兴AI芯片公司正好可以重新设计符合大模型需要的大算力芯片，借助主机厂的定制化需求迅速成长起来。

据地平线余凯分析，中国汽车智能化应用水平领先国外五年以上。在NOA和大模型推动下，国内企业将进一步拉大和国外Tier1的差距。本土Tier1站稳脚跟之后，也有望获得与国外OEM和Tier1巨头的合作机会。

正如Mobileye CEO Amnon Shashua 所说：" 能赢在中国，就能赢在全球。"