泛跟踪与人体全析感知

Hi~ 又见面了。

THINK BOLD 栏目主要是我的一些阶段性技术思考分享，别的地方看不到哈。

这期基于我对室内雷达人体感知的部分思考，整理成文做分享~

相对于车载领域，近几年毫米波雷达在民用，工业领域同样大放异彩。非车载领域的民用，工业应用相对来说更繁杂一些，这期主要聚焦于室内雷达应用。

我们知道，车载雷达感知对象主要是车，传统车载雷达感知下的车辆基本认为是刚体，我们更关注的是车辆较大距离范围内的稳定跟踪，从而进行相应的ADAS功能输出，并不关心车辆自身运动细节，比如轮胎转动等。

而室内雷达主要感知对象是人，人作为一种典型的非刚体，其雷达回波包含极其丰富的人体自身运动信息，这些信息包含人体宏观运动信息（Macro Doppler，宏多普勒），微观运动信息（Micro Doppler，微多普勒），以及生命体征信息（Vital Signs）。

▲ 雷达回波基带表达式[4]

具体的，我们观察上式，对于传统车载雷达回波建模，omiga(pT0) = vt+pvT0，其中v为目标宏观运动速度；而对于人体雷达回波，不仅包含人体宏观运动，此时omiga(pT0) 含有 vt+pvT0，同样omiga(pT0)也包含微观运动信息及生命体征信息(vital signs)。

我们要做的无非是尽可能从人体雷达回波中，也就是omiga(pT0)，以及常规意义下的距离，角度中获得足够多的有用信息，从而实现人体全析。

相对于宏多普勒，微多普勒和vital signs往往更难建模，但却包含了人体极其丰富的状态信息，比如各类肢体活动（挥手，摆臂，手势，踏步，摇头等）乃至呼吸，心率变化等等。

借助雷达，我们可以从各类肢体活动信息乃至生命体征信息分析人体实时，短期乃至长期的运动健康数据，既可以实时监控异常事件（跌倒，滞留，vital signs异常等），也可以为早期潜在疾病筛查提供长期参考数据支撑，这是一种全天时的，在不侵犯隐私条件下相对经济的方式。这也就是室内雷达的长远意义。

需要指出，人体全析往往依赖较高的雷达分辨率，包括距离，多普勒以及角度分辨率，可以想想为什么。

从以上分析可以得到，人体活动实际上是3种运动的叠加，简单说就是宏运动，微运动，以及生命体征运动。站在雷达算法层面，基于毫米波雷达如何描述分析人体3种活动，尤其是统一得，而非割裂得讨论3种运动是关键课题。本文抛砖引玉，尝试在一个统一框架下综合讨论3种运动。

在讲具体的内容之前，我们可以对一些概念做解释性说明。

宏观与微观

所谓宏观与微观指的是雷达的宏观感知与微观感知，一般的，宏观感知结果是微观感知的基础，微观感知结果是宏观感知的重要补充。举两个具体的例子，

如果基于高分辨雷达实现室内人体宏运动感知属于宏观目标感知，而对于人体挥手，摇头的感知则属于微观感知；如果基于高分辨雷达的手臂手势识别属于宏观目标感知，而对于手指手势识别则属于微观目标感知。

因此，我们可以看到，

宏观与微观的概念是相对的；微观感知往往提供更加丰富的目标运动细节；

过去我们可能不太关注雷达感知的宏观与微观，宏观与微观的界限并不清晰，或者完全割裂。

泛跟踪

传统的跟踪观念基于传感器量测数据以及目标近似动力学模型获得目标运动状态量的在某一优化准则下的最优估计值。

比如针对传统车载雷达，在上述跟踪观念下，实现车辆在各场景，全天候“稳”, "准", "远"的跟踪结果已实属不易，但对于室内人体感知，这样的跟踪思想远远不够。

下面我尝试引入泛跟踪的概念。

▲ FMCW radar processing chain

泛跟踪((Omni-Tracker，我瞎起的名字)主要由宏跟踪(Marco Tracker)，微跟踪(Micro Tracker)以及混合跟踪（Multi Tracker）组成。其目的是在较长的时间尺度下，对人体活动全面跟踪分析，从而获得人体在姿态，生命体征等方面的短长期健康价值数据。

宏跟踪即为传统意义下的宏运动跟踪，比如大家比较熟悉的ti reference design中提供的gtracker等。微跟踪就要复杂的多，定义目前我也没想好，不过微跟踪往往由微运动以及生命体征运动所主导，并且微跟踪是一种多层次跟踪，以雷达高分辨为基础。

泛跟踪需要关注的点主要是

跟踪融合与切换，比如实现人体宏运动，宏手势，微手势之间的无缝切换。再比如实现人体头部，躯干，腿部分层跟踪解析等。

▲ Finger Gestures

▲ Hand Tracking

同样的，泛跟踪思想同样可以迁移至vital signs，可以构建vital signs tracker，该tracker的跟踪对象是多样的，比如range bin，对于FMCW radar，1d fft后需要检索合适的range bin, 从而获取相应phase做后续处理。注意这里我用了"合适的"一词，什么才能算合适的range bin，距离范围内能量最强？或者方差最大？采用某一固定准则其实都不合适，尤其当人体呈现明显的扩展特性（比如壁装雷达监测平躺的人体），构建合适的omni-tracker可以解决该问题。

下面我们看两个有体现泛跟踪观念的例子。

一个是BOSCH的研究案例，如下图，BOSCH公司基于毫米波雷达给出的某种形式的泛跟踪（当然BOSCH公司本身没有提泛跟踪的概念），其实思路很简单，默认条件下毫米波雷达对人体进行宏跟踪，当人体需要使用手势操作时候，切换至微跟踪，微跟踪将跟踪手臂手势（也就是我们说的宏手势(Marco Gestures)），当然BOSCH目前的研究存在的问题是，宏跟踪到微跟踪的切换需要特殊条件或动作，而非平滑顺其自然的过渡。

另一个是Google，Google Soli项目自2015年来一直在稳步发展，借助于AI算法，Soli Radar已经相当"聪明"，在整体宏跟踪基础上，Soli能够自适应平滑判断你的扭头微动作，从而进行相应的人体意图判断，让雷达更懂你，了解你。

小结

本质上，泛跟踪就是一把可伸缩的标尺，过去的尺子是固定刻度的，或粗略或精细，如今我们可以探讨一把可伸缩的，自适应调节刻度的尺子，从宏观层面的统计感知与微观层面的精确感知相配合，尽可能全面得描述人体活动。

这期只是初步的介绍了部分重要观念和概念，尚未设计具体算法的探讨，坦率讲，这部分包括我都是在摸石头过河，并未形成系统性方法论，不过整体会是这么个方向吧，所以始终保持思考与实践，保持未来的期待吧~

作者：叶融茶归

[参考文献]

[1] https://atap.google.com/soli/products/.

[2] Gu C ,  Wang J ,  Lien J . Motion Sensing Using Radar: Gesture Interaction and Beyond[J]. IEEE Microwave Magazine, 2019, 20(8):44-57.

[3] Santra A ,  Ulaganathan R V ,  Finke T . Short-Range Millimetric-Wave Radar System for Occupancy Sensing Application[J]. IEEE Sensors Letters, 2018, PP(99):1-1.

[4] Patole S M ,  Torlak M ,  Dan W , et al. Automotive Radars: A review of signal processing techniques[J]. IEEE Signal Processing Magazine, 2017, 34(2):22-35.