Xperi的单摄像头舱内监控系统

乘员状态监控技术是车辆安全系统的发展方向。许多商业车队已经采用了乘员状态监控，乘员监测（如儿童）是进入一个新领域的合理的步骤。

事实上，它已经获得了监管部门的青睐和行业的采用。Euro NCAP将鼓励在2022年搭载该系统的车厂，而大部分车厂也愿意在2025年之前将乘员监控作为一项标准功能。

是什么推动了这种变化？为什么乘员监测对未来的移动出行如此关键？简单的答案是车辆的自动驾驶程度越来越高。像乘员状态系统这样的监测技术在识别从乘员行为和状态到紧急情况、专注度等一切方面的能力上具有支持作用。

乘客的安全（包括宠物）必须考虑到更多的自动化，以及自动驾驶及其体验。Xperi的DTS AutoSense正是为此而开发设计的，原因如下：

变化环境中的安全性：乘员状态技术需要实时处理各种变化，如乘客控制、自动驾驶环境、部分自动驾驶、紧急乘客控制等。为此，它应该提供整个舱内的概况，并能以框架的精度进行分析。

乘员定位：虽然乘客应该在车内安全地坐好，但实际上他们往往不这样做，特别是儿童。乘员状态技术可以分析并发出警告，安全气囊可以根据每个乘客的姿势和暴露在事故中的情况来部署。这项技术可以以与乘客ID相一致的可控方式部署安全气囊，还可以提供定制的旅行体验（针对负载的设置、温度、照明、声音等）。

乘员行为：在一个更加自动驾驶的未来，安全监管机构需要了解的远不止是座位中的乘员情况。通过开发后视镜摄像头流，并通过各种基于神经网络的算法进行分析，我们已经实现了一个整体的舱内传感系统，可由任何监管机构对更多的行为上下文进行评分。

乘员体验：不仅仅是安全问题，乘员状态监测将通过个性化的音乐、照明方案、座椅调整等实现更好的旅程体验，所有这些都基于乘客的ID/位置/行为和活动。想象一下，通过活动和分析，根据你的情绪为你选择播放列表。

实现这一目标是一项重大挑战。当时，业界的看法是，不可能通过一个摄像头同时对司机和乘客进行感知。最大问题是后视镜的角度，这个位置摄像头不是正面对着驾驶员，直接影响了驾驶员感知技术的效果。

DTS AutoSense乘员监控系统（OMS）背后的核心技术利用了计算机视觉中的机器学习和神经处理技术的进步，将质量和性能提高到新的水平。通过对数据的精心使用，检测、分类和识别的KPI达到了90%以上的水平。

具有高质量标注的相关数据的可用性是性能的关键，这就是为什么DTS在数据基础设施的各方面进行了大量投资，从采集和生成、验证、评估、存储、检索和计算能力，到专门用于使用和管理的熟练劳动力。在确保数据流安全的情况下，DTS AutoSense利用AI的进步，继续创新开发。

结果是该乘员监测系统解决方案是完全神经性的，以定制的CNN为基础，结合身体、面部和一般物体的级联检测器，生成舱内上下文，并对其进行操作。Xperi还部署了一个复杂的镜头畸变校正过程，然后是一个定制的图像处理序列，对乘客进行舱内三维空间定位。

该解决方案与摄像头无关，因此Xperi认为有能力应对现有舱内空间的任何摄像头和镜头系统。该解决方案在RGB-IR/IR传感器上运行，无论是单一的RGB流、RGB-IR，还是纯IR传感器。

该解决方案可在任何车辆舱内实时运行，可以提供反馈和/或直接报告乘客状态。如果车辆中的一个座位被占用，这个位置将被实时检测、记录、报告。

开发的挑战开发新的技术和创建新的、未定义的用例带来了一些重大挑战。当建立一个关键功能所需的核心技术时，Xperi遇到了未曾预见的副作用。每一个副作用都必须得到处理、解决、编目和分类，才能继续推进。

最终，它需要一个新的技术水平，包括开发新的采集系统、数据标注、额外的符号要求和流程，以及神经训练方法的完整的精炼。以下是列举的一些挑战以及Xperi如何解决这些挑战的。

有些人可能会认为，单摄像头解决方案（后视镜DMS和OMS）与驾驶员正面的摄像头相比，会影响准确性。然而，从后视镜可以获得更广泛的上下文，这意味着通过分析驾驶员的扩展景观，即身体姿势分析、行为、活动检测等，可以获得相同甚至更高的准确性。

另一个巨大的挑战涉及到处理后座乘客的遮挡率（前座总是在一定程度上遮挡后方物体）。我们通过对乘客的活动和行为进行时间分析来克服这些问题。这种分析产生了一个复杂的算法，在一段时间内跟踪每个乘员的活动（睡觉、说话、使用小工具、身体运动、姿势、物体的出现/消失等），然后保存它的历史。

基于这些信息，Xperi计算出物体（被遮挡或不被遮挡）的概率以及由此产生的具体行为（可观察或不可观察）。只有在对这些活动和行为的历史进行整体分析后，才能发出有效的决策/预警。

检测舱内空间区域外的乘员是一个独特的挑战。Xperi的OMS仅通过计算机视觉和RGB-IR或IR传感器就能cover舱内的乘员。然而，这需要超越目前座椅压力传感器的限制，以便系统能够始终检测到车内的人员数量和他们的位置。

该检测技术的一个副作用是它能同时检测到车外和车内的人，影响了解决方案的有效性。因此，他们想出了具体的几何计算技术，只检测舱内的情况。

总的来说，在应对这些挑战的过程中，Xperi开发了特定的数据采集方案，并完善了一个定制的基础设施，能够为这项技术的特殊问题设计解决方案。

这些挑战的复杂性需要严格的分析和测试，包括评估上下文、特定场景、姿势行为和遮挡。Xperi表示他们涉及到了各种因素，从车厢大小和形状，到白天与夜间的光线，再到高遮挡率。然后，从不同的车辆上收集了各种乘客（最多5人）的真实旅行场景，以及多种旅行长度和景观。

传感器和图像质量是至关重要的。必须解决主要由噪声、曝光过度（极端阳光）、曝光不足（低光照条件）引起的问题，这些问题由混合IR和可见光域、快速环境光转换（进入隧道）、车内和乘客身上的阴影，以及不同的环境照明、颜色和强度引起。

在这些不同的照明情况下，乘客进行了各种活动和姿势，这些活动和姿势由特定的硬件系统进行验证/标注，并由一个熟练的数据团队进一步分析。

Xperi表示，他们的团队花了数年的构思、开发、测试和更多的测试，为乘用车创造了一个真正准确的乘员监测系统。

显然，车厂的舱内功能数量会增加，因此，他们需要有相应数量的安全元素和用例，这将是至关重要的。DTS AutoSense的设计、开发、测试，已经为全球市场的挑战做好了准备。

[参考文章]

Occupancy Status Technology: Is It the Future of Vehicle Safety? — Szabolcs Fulop

相关推荐