浅析人机协作智能增强的驾驶员状态监控系统实现

本文阐述了一种人机协作智能增强的驾驶员状态监控系统的实现方法。该系统可以对驾驶员的疲劳状态（打呵欠、频繁闭眼等）、不良驾驶行为（长时间不目视前方、接打手持电话、抽烟、双手同时脱离方向盘、跟车过近等）进行实时监测与报警。其特点在于：驾驶员面部视觉感知、驾驶员身体姿态视觉感知与车辆运行状态信息、道路信息融合，并利用人机协作认知的演进模型实现智能增强的驾驶员状态预测，弥补了仅利用驾驶员面部特征进行驾驶员状态判别方法的不足。

据世界卫生组织统计在众多交通事故中由于驾驶员的疲劳驾驶造成的事故占 20%左右。为了减少由于驾驶员疲劳驾驶带来的事故隐患，2018 年 8 月，交通运输部办公厅发布了《关于推广应用智能视频监控报警技术》的文件。

鼓励道路运输车辆安装智能视频监控报警装置，实现对驾驶员不安全驾驶行为的自动识别和实时报警。其中就包含了对驾驶员的疲劳状态及不良驾驶行为的监控要求。本文要阐述的是一种人机协作智能增强的驾驶员状态监控系统的组成与实现。

引起疲劳驾驶的原因是多方面的。其中主要有两个方面的原因，一方面是缺乏足够的睡眠质量或者睡眠数量，一方面是在平时睡觉的时间驾驶车辆。

驾驶员疲劳驾驶的原因还有许多因素如：已经清醒的时间 ( 特别是超过 17 小时 )、身体和大脑清醒和困倦时间的生物钟、上一次睡眠的数量和质量、体力和脑力活动的水平，没有人能够免于驾驶疲劳的影响。

01、国内驾驶员驾驶检测方法

（一）基于生理信号的方法

山东大学的代世勋提出了用组织血氧参数来检测驾驶员疲劳状态，通过实验分析了驾驶员精神疲劳与脑部组织含氧情况的关系，分析了驾驶员腰部肌肉疲劳与肌肉组织含氧情况的关系，分析结果表明可以用脑部组织和肌肉组织的含氧水平来检测驾驶员的精神疲劳和肌肉疲劳。

浙江大学的吴群通过展开实验，研究了人在逐渐疲劳时心电信号线性特征及非线性特征的规律，发现一些与人体疲劳有关的心电信号特征，以此为基础建立了疲劳检测模型来监测人体的疲劳状态。

东北农业大学的祝荣欣对驾驶联合收割机过程中驾驶员的肌电信号和心电信号进行采集研究，筛选出能够表征驾驶员疲劳状态的最优特征参数，基于信息融合的方法，构建了联合收获机的疲劳驾驶等级客观评价模型，为农业机械驾驶疲劳的实时检测技术的研究提供了有效的参考。

长春理工大学的祝亚兵等人通过疲劳驾驶模拟实验，结合对象辨别实验和对受试者面部表情的变化分析，研究了脑电信号特征与疲劳驾驶状态之间的相关性，研究结果表明疲劳指数与受试者疲劳程度呈正相关性，证明了利用脑电信号进行疲劳检测的合理性。

（二）基于驾驶员行为的方法

吉林大学的邹听彤等人通过人脸分类器从视频中提取人脸区域，并根据人脸器官的分布规则来检测嘴巴和眼睛区域 ; 采用灰度直方图统计特征值的方法判断眼睛区域状态，采用似圆度判断嘴巴打哈欠的情况；

利用 PERCLOS( 单位时间内眼睛闭合时间所占比例 ) 值识别眼睛的疲劳状态，利用打哈欠的频率识别嘴巴的疲劳状态，用此种方法检测驾驶员的疲劳状态并进行预警。

重庆大学的吴小燕采用数字图像处理技术，利用对驾驶员眼睛睁闭的实时监测来检测驾驶员的精神状态，并以 FPGA(Field-Programmable Gate Array) 集成设计相应的控制与处理模块，开发出一套可以实时检测驾驶员疲劳状态的系统并进行实验验证了系统的可靠性。

江苏大学的贾海江等人以方向盘转角、单位时间内眼睛闭合时间所占比例、眨眼频率和眨眼深度为特征参数，建立支持向量机的疲劳驾驶检测模型，并确定了各个特征参数的最优时间窗，提高了疲劳驾驶模型的检测效果。

长春理工大学的毛须伟等人利用车载 CCD 摄像机实时获取驾驶员的面部图像，并采用直方图均衡化的方法增强图像的对比度 ; 通过阂值分割技术和形态学运算方法提取眼睛区域，根据眼睛宽度和高度的比例判断眼睛的闭合程度 ; 根据眨眼频率和 PERCLOS-P80 原理判别驾驶员的疲劳状态，实验结果证明该方法具有很高的实时性。

（三）基于车辆信息的方法

江苏大学的张明明通过实验同步采集正常驾驶和疲劳驾驶时的方向盘握力信号和脑电信号，利用 BP 神经网络方法建立基于方向盘握力信号的疲劳特征参数与基于脑电信号的疲劳程度值之间的关系，以方向盘握力信号的特征参数作为输入层，以脑电信号的特征值作为输出层，对 BP 神经网络模型进行训练并验证了模型的准确性。

上海交通大学的李伟等人通过驾驶模拟器进行实验，采集 10 名驾驶员在正常驾驶和疲劳驾驶时的方向盘转角信息和道路偏移信息，并对数据进行统计分析，把离散化和归一化后的数据作为神经网络模型的输入，对模型进行训练，直至误差满足要求，结果表明该方法检测驾驶员疲劳状态具有较高的准确率和较强的实用性。

江苏大学的刘军等人提出了一种利用方向盘转角检测驾驶员疲劳状态的方法，该方法使用 MLX90316 角度传感器采集方向盘转角数据，然后计算方向盘转角的标准差和静止百分比，根据方向盘转角标准差和静止百分比建立驾驶员状态识别模型监测疲劳驾驶，车试验表明该方法可以有效地识别驾驶员的状态。

广东安行智能阵技有限公司自主研发的专利产品疲劳驾驶预警系统 MR688 运用汽车级图像传感器捕捉人脸的红外线图像，运用独特的瞳孔识别检测技术，通过分析瞳孔的变化特征。

通过奔腾 2 高速数字信号处理器来分析驾驶员的状态，当检测到司机疲劳驾驶时，系统会发出报警声音。该系统采用先进的非接触模式和尖端算法，使系统能够检测出驾驶员的疲劳状态，并发出报警提醒驾驶员，保证驾驶员的生命和财产安全。

02、人机协作智能增强驾驶员状态监控系统的组成與实现

人机协作智能增强驾驶员状态监控系统是一个将人的作用或人的认知模型引入的人工智能系统，具备混合智能增强范式。由信息感知、融合预测、协作增强、反馈预警等子系统组成。

2.1 信息感知子系统

信息感知子系统由三个视觉感知摄像头、一个车辆 CAN 总线采集模块组成：

①一个位于驾驶员前方仪表台上的朝向驾驶员的 940 纳米红外摄像头（适用于各种光照条件，可大幅降低强光及弱光环境对摄像画面成像质量的影响）。

用于采集驾驶员面部特征及上半身部分视觉图像信息，通过深度神经网络模型推理图像中存在打呵欠、闭眼、接打手持电话、抽烟、不系安全带、长时间不目视前方等驾驶员疲劳以及不良驾驶行为画面的置信度;

②一个位于驾驶员上方朝向驾驶员的广角短焦摄像头，用于采集驾驶员姿态与动作和方向盘转动信息，通过深度神经网络模型结合传统计算机视觉算法推理画面中存在驾驶员异常坐姿、较长时间不转动方向盘、异常速度转动方向盘、驾驶员双手脱离方向盘等疲劳和不良驾驶行为现象的置信度;

③一个贴于挡风玻璃内侧中央，朝向道路方向天际线的摄像头，用于采集前方车辆、行人、车道线等目标信息，通过深度神经网络模型结合传统计算机视觉算法检测前方车辆、行人、车道线等目标，并计算本车与前方的车辆、行人的距离以及本车与两侧车道线的距离;

④一个车辆 CAN 总线信息采集模块，通过车辆自身的 CAN 总线采集车辆的车速、转速、油门开度、刹车状态、横摆角速度等信息，用于辅助判断驾驶员是否处于正常驾驶状态。

2.2 融合预测子系统

融合预测子系统，将来自信息感知子系统的多种感知信息进行融合，而后对驾驶员是否存在疲劳驾驶行为或者不良驾驶行为进行预测。

如预测结果置信度低于指定的阈值，则将通过信息感知子系统采集到的当前时间点前的指定时间段内的视频及车辆总线数据和预测结果一并提交到协作增强子系统，并由协作增强子系统作进一步处理。

融合预测的主要步骤为：

①以 100 毫秒为单位时间对各感知信息进行配准后组成特征向量;②以 1000 毫秒为周期，100 毫秒为间隔进行滑窗操作将采集到的 5 组特征向量组成特征矩阵;③将特征矩阵连续的送入基于 LSTM（Long short-term memory）结合 CNN 构建的神经网络得到切片预测结果向量;

④将 1000 毫秒内的 10 个切片预测结果向量组成预测结果矩阵，利用可演进评分模型对结果矩阵进行评分得到最终预测结果向量及其置信度;⑤如置信度小于指定阈值则将预测结果及相关感知信息提交至协作增强子系统进一步处理，如置信度大于指定阈值则将预测结果提交至反馈预警子系统做进一步处理。

2.3 协作增强子系统

协作增强子系统将人的作用引入到对驾驶员疲劳及驾驶员不良驾驶行为的认知模型，形成人机协作智能增强的形态。将融合预测子系统预测结果中置信度低于阈值的场景通过视觉方式还原现场，由人工来判断驾驶员是否存在疲劳或者不良驾驶行为的情况。

并将人工判断的依据及判断过程按照预先设计的演进模型进行记录并转换成用于感知和预测模型训练的素材自动送入训练素材库。当新入库素材达到指定阈值时，启动新的感知和预测模型训练，促使模型在人的协助下不断的演进，提高感知和预测模型对驾驶员疲劳和是否存在不良驾驶行为判断的准确率。

2.4 反馈预警子系统

反馈预警子系统由声光报警模块、报警事件记录模块组成。接收来自融合预测子系统的报警信息通过声光提醒的方式按照不同的报警级别进行不同的声光提醒，同时将报警事件在本地记录并通过无线网络传输到云端服务平台。

03、人机协作智能增强驾驶员状态监控系统的优点

（1）将人的作用引入到系统中对驾驶员疲劳和不良驾驶行为进行判断，形成了人机协作认知的混合智能增强范式。当智能终端的输出置信度较低时，由人介入主动给出合理的判断与依据，构成系统智能水平提升的反馈回路;

（2）在传统的仅仅利用驾驶员面部特征进行驾驶员状态判别方法的基础上添加了对行车过程中是否系了安全带、行车过程中是否双手脱离方向盘的检测，并利用视觉检测方向盘转动幅度的方法判断驾驶员是否存在长时间不对方向盘进行转动（含微调）的行为，以及驾驶员是否存在对行车道路上出现的状况（如：跟车过近、偏离车道）反应迟缓或者异于往常的问题。