用于毫米波雷达微多普勒可微渲染的4D点泼溅

毫米波雷达将运动物体的微米级位移解析为微多普勒，从而实现步态、手势、活动、姿态和生命体征感知。每项任务都依赖于在真实数据上训练的下游模型，然而雷达数据集在规模上落后于视觉和语言领域数个数量级。暴力采集无法弥合这一差距，而现有的合成方法（仅前向模拟器、学习型生成器和静态场景逆渲染器）无法拟合运动物体的真实采集，从而留下 sim2real 差距。我们提出 4D Point Splatting（4DPS），一种基于物理的可微渲染器，可将显式运动场景拟合到真实采集。利用同步相机初始化房间和人体，我们将场景表示为携带材质、法线和速度的有向点，并将每个点溅射到距离和多普勒 bin 中。我们的输出是真实雷达记录的原始复数回波，因此我们对渲染数据应用相同的信号处理，以获得任意表示，用于训练任意 SOTA 下游模型。我们在 HuPR 上拟合了 235 个序列，在 RT-Pose 上拟合了 100 个序列，这两个数据集使用了不同的雷达。我们的重建达到了最先进水平，在距离-方位角上的中位相关性分别为 0.940 和 0.830，在距离-多普勒上分别为 0.829 和 0.695，在微多普勒上分别为 0.988 和 0.966。我们的渲染在下游 sim2real 差距上也达到了最先进水平。在 RT-Pose 上，用这些渲染数据训练的姿态模型在真实数据上达到 21.9 cm MPJPE，而真实训练为 16.7 cm，RF-Genesis 基线为 127.6 cm，其中渲染训练和真实训练的模型学到的特征几乎相同。我们的自定义 CUDA 内核在单块 H100 上拟合一个序列在 HuPR 上需 5.7 分钟，在 RT-Pose 上需 12.9 分钟，首次使毫米波雷达的数据集规模逆渲染成为可能。这项工作可为任意以人为中心的下游任务和模型实现合成数据生成，并为数据增强实现场景编辑。

中文由 AI 翻译，仅供参考，以原文为准。