ProgMF:面向不完整神经影像数据的渐进多模态融合与表征学习
PROGMF: Progressive Multimodal Fusion and Representation Learning for Incomplete Neuroimaging Data
预印本 · 尚未经过同行评审
多模态神经影像队列常只有部分被试具备全部模态,常规融合方法通常只用数据完整的被试。作者提出 ProgMF,借助独立向量分析、跨阶段成分对齐和锚点引导的表征迁移,按顺序整合各模态。在四类合成模态上,其源恢复误差一般低于完整病例独立向量分析和所评估的填补方法,被试重叠越少改善越大;在阿尔茨海默病神经影像学计划的结构磁共振灰质、静息态功能网络连接和 AV45 淀粉样蛋白正电子发射断层数据上,融合得分高于填补基线,略优于完整病例独立向量分析。293 名具备完整多模态观测的被试中,两个恢复出的源成分与临床诊断、认知表现和痴呆严重程度相关。该预印本尚未经同行评审。
多模态神经影像研究常涉及数据模态部分重叠的队列。许多传统的多模态融合方法依赖于在所选模态上具有完整观测的参与者。我们提出渐进式多模态融合(Progressive Multimodal Fusion, ProgMF),这是一种新颖的融合框架,可在不插补缺失观测的情况下,从非完整神经影像数据中学习多模态源表征。ProgMF 通过独立向量分析(IVA)、跨阶段成分对齐和锚点引导的表征迁移,依次整合各模态,使从早期阶段队列中学习到的信息能够为后续的多模态分解提供指导。我们在四种受神经影像启发的合成模态上评估了 ProgMF,同时改变了受试者重叠程度、观测噪声、模态相关性和融合顺序。ProgMF 通常比完整病例 IVA 和所评估的基于插补的方法获得更低的源恢复误差,且随着多模态受试者重叠程度降低,改进幅度更大。我们进一步将 ProgMF 应用于来自阿尔茨海默病神经影像学倡议的结构 MRI 灰质、静息态功能网络连接和 18F-florbetapir(AV45)淀粉样蛋白正电子发射断层扫描数据。ProgMF 获得了比基于插补的基线更高的平均跨模态融合分数,并较完整病例 IVA 有适度改进。在 293 名具有完整多模态观测的参与者中,两个恢复的源成分向量在认知正常、轻度认知障碍和痴呆组中均与临床诊断显著相关。这两个源也与认知表现和痴呆严重程度显著相关。恢复的源表现出与诊断相关的结构和淀粉样蛋白 PET 模式,涉及海马、楔前叶和扣带皮层等区域。我们的发现支持渐进式表征迁移是一种有效方法,可从模态覆盖不完整的参与者中恢复连贯、可解释的多模态源。
中文由 AI 翻译,仅供参考,以原文为准。
来源:bioRxiv · Neuroscience · biorxiv.org