BrainVista:将自然情境脑动态建模为多模态下一标记预测
BrainVista: Modeling Naturalistic Brain Dynamics as Multimodal Next-Token Prediction
预印本 · 尚未经过同行评审
自然情境功能磁共振能记录连续多模态体验中的皮层动态,但刺激变化快、血氧信号慢,跨网络活动又高度异质,预测未来脑状态并不容易。作者提出多模态自回归框架 BrainVista,结合按网络划分的标记器、空间混合头和刺激到脑掩蔽,在不接触未来真实脑状态的前提下做递归预测。在 Algonauts 2025、CineBrain 和 HAD 三个大规模基准上,长时程条件预测的模式相关分别比最强基线提高 10.8% 和 9.4%。该预印本已被 NeurIPS 2026 接收,代码已公开。
提出多模态自回归框架,用脑活动历史与刺激标记预测未来功能磁共振状态,在三个自然观影与听觉数据集上做长时程预测,模式相关比最强基线提高 10.8% 和 9.4%。
自然情境fMRI为连续多模态体验中的皮层动态提供了一个时间分辨的窗口,其中未来的脑状态由内源性神经背景与外源性感觉驱动共同支配。然而,预测此类动态仍然具有挑战性,因为快速变化的刺激流必须与缓慢的血流动力学BOLD响应相协调,同时皮层活动在功能异质的脑网络中组织。为应对这些挑战,我们提出BrainVista,一个用于观测刺激条件下的脑状态预测的多模态自回归框架。BrainVista从脑活动历史和与每个预测查询在时间上对齐的刺激token中预测未来的fMRI状态,从而无需访问未来的真实fMRI状态即可实现自回归预测。递归展开提供了在持续感觉输入下对脑状态演化的运行内预测检验。具体而言,我们结合了用于功能结构化脑表征的网络化Tokenizer、用于跨网络交互精炼的空间混合头(Spatial Mixer Head),以及刺激到脑(S2B)掩蔽,以在保持时间因果的刺激-脑条件作用的同时,防止未来脑状态泄漏和刺激前瞻。我们在Algonauts 2025、CineBrain和HAD这三个大规模自然情境fMRI基准上,在长时程条件自回归预测下评估BrainVista。BrainVista始终优于基线,在Algonauts 2025和CineBrain上,相对于最强基线,模式相关性分别提高了10.8%和9.4%。代码可在https://github.com/xuanhuayin/BrainVista获取。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neurons and Cognition · arxiv.org