1.方案背景
在2018年年底下发关于《交通运输部办公厅关于推广应用智能视频监控报警技术的通知》文件中对智能视频监控报警技术提出了详细的技术要求,主要包括驾驶员驾驶行为检测:疲劳驾驶、接打电话、长时间分神、驾驶员不在驾驶位置、抽烟报警。目前在湖北省、浙江省、甘肃省、重庆、河北、福建等区域逐渐开始要求两客一危强制执行,配套智能监控设备。根据相关资料查询,国内客车保有量100万辆以上,我们的潜在市场机会规模在亿级以上。
2.方案简介
本司机状态监控系统(Driver Status Monitor)为广州灵眸科技自主研发,利用DSM摄像头获取图像,通过视觉跟踪、目标检测、动作识别等技术对驾驶员的驾驶行为及生理状态进行检测,当驾驶员发生疲劳、分心、打电话、抽烟等危险情况时在系统设定时间内报警以避免事故发生。DSM系统能有效规范驾驶员的驾驶行为、大大降低交通事故发生的几率。可通过算法模块的形式集成到已有产品中,以极低门槛轻松实现原产品的升级。并且也可以以算法模块为主控进行二次开发。
3.应用场景
交通运输部办公厅对”两客一危“的车辆强制执行,配套智能监控设备。“两客一危”的 车辆是指从事旅游的包车、三类以上班线客车和运输危险化学品、烟花爆竹、民用爆炸物品的道路专用车辆。而且现在有向的士与滴滴等社会运营车辆扩张的趋势,市场规模极大。
4.功能简介
(1)正常驾驶状态
使用人脸检测、人脸关键点、目标检测等识别技术进行神态分析,司机正常驾驶时系统显示一切正常。
(2)司机核验
使用人脸识别技术识别司机的身份,确保司机车辆不会被其他人员非法操作,而且也能记录司机的实际出勤情况。本司人脸识别算法准确率达99.8%,99.7@0.001 far。
(3)打哈欠监测
通过高精度人脸关键点技术进行检测,当检测到司机嘴巴张大到一定程度,且张大嘴巴且持续3秒时系统需要记录起来,如果司机一个时间段内都如此,则认为司机一直在打哈欠,这时候需要给予司机温馨提示,建议司机进行休息调整。
(4)打电话监测
通过目标检测算法进行实时检测,当检测到司机开车打电话,则认为司机驾驶行为不当,可给予温馨提示,如果司机继续持续电话则进行警报提醒。
(5)分心驾驶监测
通过高精度人脸关键点算法进行实时检测。当司机持续的低头看手机或左顾右盼,则认为司机驾驶分神,可对司机给予温馨提示,如果现象持续则给予警报提醒。
(6)吸烟监测
通过目标检测算法进行实时检测,当检测到司机开车抽烟,则认为司机驾驶行为不当,可对司机给予温馨提示,如果现象持续则给予警报提醒。
(7)偏离驾驶
当驾驶员处于离岗状态或者驾驶员面部被挡住时,会触发系统报警,当车辆处于前进档时,摄像头没有探测驾驶员即报警。
(8)长时间闭眼监测
通过高精度人脸关键点技术进行检测,当检测到司机闭眼睛超过1.5秒则需要立即进行报警,以免造成严重的安全事故。
5.方案搭建
AIoT1808是广州灵眸科技研发的一款应用于AIoT领域的核心板。核心板基于瑞芯微的RK1808处理器开发,处理器采用1.6GHz双核Cortex-A35架构,内置的NPU峰值算力高达3.0TOPs,支持INT8/INT16/FP16混合运算,并支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的网络模型转换,兼容性强。VPU 视频处理单元支持1080P视频编解码,内置ISP,支持麦克风阵列,硬件VAD功能,支持低功耗侦听远场唤醒。核心板内置人脸识别、火焰识别、危险驾驶、智能餐桌等各类算法,并提供完整的Linux开发包供客户二次开发。
AIoT1808参数描述:
- 内核:双核64位Cortex-A35
- NPU:最大算力为3.0TOPs
- 主频:1.6GHz
- 操作系统:Linux
- 内存:1GB DDR3
- 电子硬盘:4GB EMMC
- 触摸屏:支持I2C触摸接口
- 最高显示分辨率(RGB-LCD接口):1280*800
- 最高显示分辨率(MIPI-DSI接口):1920*1080
- MIPI DSI接口:支持4Lane
- LCD接口(RGB):支持18bit(与以太网复用)
- 音频Codec:集成声卡,集成1.3W@8ohm功放
- Wi-Fi:可提供方案支持
- 蓝牙:可提供方案支持
- UART:8路(含1路调试串口)
- 以太网:1路千兆
- USB:1路USB3.0、1路USB2.0 Host、1路USB2.0 OTG
- PCIE2.1:支持(与USB3.0复用)
- I2C:2路(最多)
- SPI:2路(最多)
- MIPI CSI:支持4Lane
- DVP接口:与以太网接口复用
- TF/SD卡:1路
- RTC时钟:支持
- 供电电压:5V
- 机械尺寸:60mm * 51mm
- 对外物理接口:广濑连接器(2*80Pin 0.5mm间距)
- 运行环境温度:-20℃ ~ +70℃
- 评估底板:AIoT1808-EV-Board
AIoT1808开发方式
AIoT1808核心板内置各类算法,并提供完整的Linux SDK开发包,既可以作为一个主控核心板,也可以作为算法模块。下面是对两种开发方式的介绍。
(1)算法模块
客户可以通过串口通信的方式,在原有硬件平台的基础上搭载司机状态监控系统。使产品能够快速落地,不需要招聘大批研发人员,能够大大减少时间成本与研发成本的投入。
(2)算法核心板
如果客户有比较强的嵌入式与算法应用开发能力,可以通过我们的算法SDK和嵌入式平台BSP进行二次开发。
联系方式:
刘先生:18617322361
邮箱:liuweiwen@easy-eai.com