探查脑电基础模型注意力图用于轻量可解释情绪识别

在大规模脑电信号上训练的基础模型（FMs）有望为脑机接口（BCI）应用提供与受试者和数据集无关的流程，但迄今尚未能稳定超越任务专用架构，而且其庞大的表征在计算和存储上代价高昂。为推进对基础模型内部机制的理解，我们提出一种轻量级替代方案：利用预训练脑电基础模型 REVE 的自注意力机制，在无需任何微调的情况下导出类似加权功能连接（FC）的特征。受基于核的 FC 矩阵启发，我们将单个注意力头在数据集试次全时长上的原始第一层注意力权重聚合为加权通道间邻接矩阵。这些矩阵替代标准编码器表征向量作为分类特征，大幅降低了计算成本。我们进一步引入一种无标签、基于对称性的准则——其动机来自训练后的编码器-解码器 Transformer 中出现的近对称注意力模式——按各注意力头所携带判别信息的多少对其进行排序。随后，在信息量最大的单个注意力头所导出的 FC 矩阵上训练经典机器学习分类器，在 SEED-IV 情绪识别数据集上取得的平衡准确率和 F1 分数可与若干完全微调的最先进脑电基础模型相媲美，而所需计算量比编码器的标准用法至少少两个数量级。随后的皮层区域分析通过对最具判别力的 FC 矩阵连接边进行排序，发现额区连接显著过度呈现，验证了我们的方法与既有情感计算文献一致。这些结果表明，可解释、计算廉价的注意力图线性探测是将脑电基础模型部署于资源受限场景的一条可行路径。

中文由 AI 翻译，仅供参考，以原文为准。