IMUdrape：通过基于物理的布料模拟从文本生成服装安装式虚拟 IMU 数据

惯性传感器正逐渐融入服装之中，从搭载传感器的运动服，到装有数百个 IMU 的衣物。缝入衣物后，传感器不再与身体刚性同步运动：松散的布料会滑动、扭转和摆动，因此衣物上的传感器既记录身体的运动，也记录布料的运动，而这种额外运动因衣物而异。针对此类传感器的模型需要用实际部署的衣物录制训练数据，但标注数据十分稀缺。由视频或文本生成的虚拟 IMU 数据缓解了贴身传感器的数据稀缺问题，但现有生成器将虚拟传感器刚性附着于身体。我们提出 IMUdrape，它通过基于物理的布料模拟，从文本生成衣物安装式虚拟 IMU 数据。IMUdrape 从活动描述合成运动，从照片中将目标衣物重建为缝纫纸样，将虚拟 IMU 放置在部署时的真实传感器位置，并用无相交接触求解器模拟衣物，使每次模拟都产生配对的衣物与身体信号。在四个使用衣物安装式传感器的真实数据集上，IMUdrape 在活动识别和全身姿态估计两方面均优于现有虚拟数据方法。在单个真实受试者上，其数据使识别 macro-F1 相比仅用真实数据提升 7% 至 46%，相比同一运动产生的身体安装式虚拟数据提升 2% 至 11%。当衣物在录制运动上进行模拟时，在完全没有真实训练数据的情况下，姿态误差相对生成运动下降 30% 至 33%，且衣物数据仍比身体数据准确 12%。因此，IMUdrape 减少了衣物安装式传感所需的真实数据量。

中文由 AI 翻译，仅供参考，以原文为准。