Hi~ 又见面了
这期继续雷达人体感知方面的思考。
在THINK BOLD | 泛跟踪与人体全析感知一文中, 我们探讨了人体运动在雷达感知下的几种形式,包括宏运动(Macro Motion),微运动(Micro Motion),体征运动(Vital Motion),以及人体泛跟踪的一些思考。这期是其姊妹篇。
“动”的层次
目前雷达的应用面相当宽,从车载,交通,安防,乃至健康管理,医疗康养等等。为什么雷达的应用领域可以如此之宽广,我觉得本质还是在于雷达对多普勒敏感。
▲ 雷达应用面
多普勒敏感在于,通过一定的雷达配置,雷达可感知的多普勒动态范围相当大或者检测精度相当高,感知微如心脏跳动,强如飞驰而过的高铁,都不在话下。我们费尽心思设计不同的雷达体制(波形),设计各种天线布局,花里胡哨的测角算法,哪怕是能够提高一点距离精度或者角度性能都兴奋无比。但是对于速度维(多普勒维),一切都是那么自然,你看CW, FMCW,SFCW,UWB,PMCW等等,大家在多普勒维处理从未如此意见一致,仿佛多普勒维一直是个好学生,大家都蛮省心的,不用花太多心思。
多普勒维没什么可挖了吗,当然不,在THINK BOLD | 泛跟踪与人体全析感知一文中, 我们探讨了人体运动在雷达感知下的几种形式,包括
- 宏运动(Macro Motion)微运动(Micro Motion)体征运动(Vital Motion)
这些都是多普勒感知下人体运动的几种分类。
也就是说,多普勒维度的魅力在于多普勒的层次,也就是“动”的层次,这一点是距离维,角度维触不可及的。
如何品味这些层次,或者我们如何处理利用好这些层次是相当有意思的,我曾经在4D雷达之微多普勒 一文中浅析过一些内容,那这次再从另一个角度品一品多普勒。
▲ “动”的层次
“动”的多维感知
首先讲讲宏运动和微运动。
我在(加餐)从车载雷达认识傅里叶变换 从分析过距离维,速度维,角度维本质对应复正弦信号,形如,
其中即距离,速度以及角度所对应的频率。那么RSP经典处理流程下,我们通过FFT及取模累加处理获得range-doppler map.
▲ 经典雷达信号处理流程
高分辨雷达下人体运动的range-doppler map信息丰富(如下图),以多普勒信息为例,其在map下的多普勒维度呈现峰值以及扩展,这里包含了表征人体躯干运动的高能量峰值以及手臂摆动的多普勒扩展,如何利用这些信息在4D雷达之微多普勒 一文中有过分析,不再赘述。
想强调的是,针对宏运动和微运动,range-doppler heatmap是有力分析工具。
▲ range-doppler map
当然我们还可以获得doppler-time map, 本质不变,不再赘述。
针对体征运动,我们还是雷达回波模型[4],具体的,我们观察上式,对于传统车载雷达回波建模,其中v为目标宏观运动速度;而对于人体雷达回波,不仅包含人体宏观运动,此时含有,同样也包含微观运动信息及生命体征信息(vital motion)。
注意公式中的, 是帧的计数,由于一个chirp或者一个frame持续时间短,体征运动在chirp内乃至一个frame内的变化几乎可以忽略不计,但是诸如人体呼吸等生命体征活动在帧间会呈现出明显的规律性(也就是 regularity),所以可以通过进行多帧间处理提取体征运动。
▲ 多帧累计,体征运动感知
比如,针对对于一个平躺的人体,高精度雷达能够采集从头到脚多个体位点,我们可以选取若干个体位点(如下图),对多帧累积得到的相位进行处理,可以看到,多个体位点呈现出周期振动特性,这显然是人体呼吸(胸式呼吸或腹式呼吸)的结果,我们完全可以通过这个体征运动矩阵获得关于这个人体的体征信息。
▲ 平躺人体体征层析
当然,不仅仅是呼吸信息,比拟ECG的心率信息(多普勒心动图,DCG)在高精度相位处理下也能够被精准重建。关于DCG有兴趣可以阅读文献[3]。
▲ 雷达心动图[3]
需要注意的是,前文中利用range-doppler map 处理微运动,事实上,相位的扰动也可以分析微运动(如下图),这种由微运动导致的相位扰动虽然严重破坏了体征运动信息,但却能够反应出体动信息,同样非常有用(比如分析这个人睡得踏不踏实)。也就是说,相位分析(phase analysis)同样是微运动的有理处理手段。
▲ 微运动下的相位扰动
一个例子
通过上述分析,我们对3类运动以及如何处理利用它们又有了一些认识,下面讲一个基于毫米波雷达做DMS(Driver Monitoring System)的例子,DMS一般用摄像头做,因为摄像头的语义信息比较丰富,基于AI容易做一些驾驶员疲劳检测的应用。但是基于前述内容,用毫米波雷达实现DMS具有可行性。
人在开车的时候,尤其是高速长途,如果打哈欠,不觉的点头和开闭眼,那么大概率是疲劳瞌睡了。这里,点头是一种微运动,打哈欠和开闭眼是一种更弱的微运动,这里我觉得在特征上与体征运动等价。如前所述,微运动可以用range-Doppler map表述,对于高精度雷达实时监测头部位置,点头动作伴随doppler bin的变化(doppler bin variation, 由于点头动作较快,确切的说是doppler bin 突变/跳变)。当然也可以利用range-time map中range bin的变化表述(如下图)。
▲ Micro Motion[1]
同样的,体征运动可以用phase 表述,对于高精度雷达实时监测头部位置,眨眼,打哈欠伴随相位变化(phase variation)。
基于AI算法学习这些range bin 以及 phase 的变化特征,是能够大概率判断驾驶员是否处于疲劳瞌睡状态的。
▲ Vital Motion[1]
▲ Vital Motion[1]
小结
通过上述分析,我们发现不管是宏运动(Macro Motion),微运动(Micro Motion),还是体征运动(Vital Motion),本质都是对雷达回波相位的不同调制。
其中,
-
- Macro MotionMicro Motion 通常使用range-doppler map(range-time map, doppler time map)分析。Vital Motion 在相位不模糊条件下多直接用phase分析工具,包括phase unwrap以及一系列filter处理。
作者:叶融茶归
*参考文献:[1] https://dl.acm.org/doi/abs/10.1145/3614437.[2] Millimeter-wave radar object classification using knowledge-assisted neuralnetwork.https://www.frontiersin.org/articles/10.3389/fnins.2022.1075538 .[3] S. Dong, Y. Li, J. Lu, Z. Zhang, C. Gu and J. Mao, "Accurate Detection of Doppler Cardiograms With a Parameterized Respiratory Filter Technique Using a K-Band Radar Sensor," in IEEE Transactions on Microwave Theory and Techniques, vol. 71, no. 1, pp. 71-82, Jan. 2023, doi: 10.1109/TMTT.2022.3184019.
[4] Patole S M , Torlak M , Dan W , et al. Automotive Radars: A review of signal processing techniques[J]. IEEE Signal Processing Magazine, 2017, 34(2):22-35.[5] Heart rate measurement method based on wavelet transform noise reduction for low power millimeter wave radar platform