arXiv · Human-Computer Interaction· Purnata Saha, Rifatul Islam, John Quarles
· 3 小时前
打破模态壁垒：面向晕动症预测的缺失模态多模态融合
Breaking the Modality Barrier: Multimodal Fusion With Missing Modalities for Cybersickness Prediction
预印本 · 尚未经过同行评审
AI 导读
基于transformer的模型无需填补缺失数据即可处理任意传感器组合，跨数据集联合训练达0.51 MAE和0.63皮尔逊相关。
摘要 · AI 翻译
晕动症是舒适使用 VR 的主要障碍，而可靠的预测通常需要多种生理与行为传感器。然而，现有模型通常假定模态集合固定，当传感器不可用时便十分脆弱，也难以泛化到传感器配置不同的数据集。我们采用了一种基于 transformer 的模型，可处理任意传感器组合而无需插补缺失数据。基于锚点的对比学习以眼动追踪作为锚模态，将异构的传感器嵌入映射到共享潜空间，而掩码自注意力在融合时排除不可用的传感器。我们在三个公开可用的晕动症数据集上评估了我们的方法：VR.net、SIM21 和 Blur-Rollercoaster，它们使用不同的 VR 系统和传感器配置采集。在单传感器缺失条件下，预测误差变化小于 0.09 MAE。跨所有数据集的联合训练达到 0.51 MAE 和 0.63 的 Pearson 相关系数，显著优于单数据集模型。这些结果证明了在多样 VR 系统中稳健且可泛化的晕动症预测。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org