基础模型作为功能磁共振分析的模块化工具
Foundation Models as Modular Tools for fMRI Analysis
预印本 · 尚未经过同行评审
脑基础模型数量增长快，各自定义输入输出与空间约定，单一科学问题常需同时调用多个模型，但缺少把它们与经典分析、文献结合的方法。作者不走表征对齐路线，而是让每个模型成为独立工具服务器，由固定的语言智能体调用，先以功能磁共振为场景接入基于脑图谱分区的 BrainLM 和无图谱体素的 Omni-fMRI。研究用 76 题基准、2×2 工具消融和独立大语言模型评判得到 3,040 条评判轨迹，模块化接入使整体回答质量在 1 至 5 分评分上提高 0.70 分（95% CI [+0.44, +0.97]，n=34），增益集中在工具调用的选择、参数设置与依据说明上，体素接口因上下文溢出失败率高 7.8 倍。作者指出跨脑电与磁共振模型的编排是后续工作。
用于大脑的基础模型（FM）数量正在迅速增长，每个模型捕捉同一数据的不同侧面。一个单一的科学问题往往同时需要其中几个模型，还需要经典分析和文献，但目前尚无既定方法将它们结合起来，因为每个模型都定义了自己的输入、输出和空间约定。表征对齐是从 FM 进入语言模型的常用途径，它将一个 FM 绑定到一个 LLM，并且每增加一个模型都需要重新训练。我们采用模块化路线：每个 FM 都成为一个独立的工具服务器，由固定的语言智能体在经典工具和文献工具旁边调用，无需重新训练。我们从 fMRI 入手，公开 FM 在如何命名脑位置这一点上已经存在分歧，而开放任务数据提供了经典基线，我们部署了处于该谱系两端的两个 FM：BrainLM（图谱分区）和 Omni-fMRI（无图谱体素）。一个 76 题的基准、一个 2×2 工具消融实验，以及一个独立的 LLM 评判器，共产生 3,040 条被评判的轨迹。在这项初步研究中，模块化 FM 访问将整体答案质量在 1 至 5 分制上提升了 $+0.70$（95% CI $[+0.44, +0.97]$，$n=34$）。增益体现在智能体如何选择、参数化和 grounding 工具调用上，并在智能体必须跨越 FM 词汇表的地方达到峰值。两个 FM 在不同问题上各有胜场，但同时挂载两者即可匹配更好的那一个，而体素接口因上下文溢出而失败的概率高出 7.8 倍。模块化连接行之有效。跨 EEG 和 MRI 模型编排它所连接的内容，是未来的工作。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neurons and Cognition · arxiv.org