全模态分解自编码器学习全栈可穿戴解耦表征
Omni-modal decomposition autoencoders learn full-stack wearable disentangled representations
预印本 · 尚未经过同行评审
OmniDecVAEs 用单一共享编解码器从任意多模态学习解耦表征,在 HARWE 等数据集上解耦度最高提升 3.0 个百分点。
学习解耦表征是通用多模态可穿戴模型的关键,然而现有方法很少能在单一模型中同时实现异构多模态时间序列的分类、解耦、融合与生成。我们提出全模态变分分解自编码器(Omni-modal Variational Decomposition Autoencoders,OmniDecVAEs),该框架使用单一共享编码器-解码器,从任意数量的模态中学习多用途表征。OmniDecVAEs 扩展了 DecVAEs,通过多视图自监督分解损失和逐分量条件解码器,为每个模态学习时频潜在子空间。在全模态人体活动识别(HAR)HARWE 数据集(最多三十个通道)以及公开的 UCI HAR 和 WESAD 数据集上,OmniDecVAEs 为未见受试者学习到解耦程度最高的表征(DCI 解耦度最高提升 3.0 个百分点(pp))。在 HARWE 上,它们将受试者相关 HAR 和身份识别分别提升 1.1 pp 和 5.8 pp,并在多设备数据集的未见受试者上以 +31.6 pp 和 +22.3 pp 优于监督式端到端模型。此外,其生成能力相比多模态 VAE 改善了重建均方误差(提升 34-74%),其合成数据在未见受试者上改善了情感识别(2 pp)。OmniDecVAEs 具有 4.1M 参数,且与模态数量无关(比多分支 VAE 少 21 倍),是可扩展的、单模型全栈式可穿戴表征学习器。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Signal Processing · arxiv.org