跳到正文
原文
arXiv · Signal Processing· Yuanyuan Yao, Simon Geirnaert, Alexander Bertrand
· 22 小时前AI 评分44

EEG与自然视频的时间对比对齐仅在样本内刺激上优于线性解码

Temporal Contrastive Alignment of EEG and Naturalistic Video Only Beats Linear Decoding On In-Sample Stimuli

预印本 · 尚未经过同行评审

AI 导读

时间对比模型在跨被试和样本内刺激上优于CCA,但泛化到全新视频时不如CCA。

摘要 · AI 翻译

神经追踪,即连续刺激与诱发脑响应之间的时间对齐,使得能够从脑电图(EEG)中解码注意,然而其在自然视频中的应用仍基本未被探索,且主要依赖线性典型相关分析(CCA)。我们研究一个时间对比模型——将预训练的 VideoMAE 特征与一个以基于相关性的 InfoNCE 目标训练的轻量级 EEG 编码器配对——能否增强 EEG-视频对齐。在三种泛化机制下与 CCA 进行基准比较,该模型在跨被试(留一被试出)条件下优于 CCA,在刺激流形内(留一视频片段出)与 CCA 持平,而在外推到全新视频(留一视频出)时落后于 CCA。由于这一优势仅对已见刺激出现,我们探究其基础:一项伪对照表明,高准确率并不能证明真正的对齐,因为一个拟合到已见刺激的合成对应关系可以在训练对中不存在真正时间对齐的情况下复现该准确率。这并不妨碍实际应用:在针对已见刺激的下游注意解码任务中,该模型仍优于 CCA,因为解码只需要强统计耦合,而无论该耦合是否具有生理意义。使用组平均 EEG 参考,我们进一步表明,真正的、可泛化的耦合仍然被学习到了,只是被埋没在单被试 EEG 的噪声中。这些结果表明,进展取决于数据规模、多样性以及单被试去噪。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Signal Processing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。