MambaLIFT:面向 VMamba 的基于参考的机制感知归因
MambaLIFT: Reference-Based Mechanism-Aware Attribution for VMamba
预印本 · 尚未经过同行评审
MambaLIFT 通过计算图传播贡献,在 ImageNet-1K 上对 VMamba-T 和 VMamba-B 实现数值守恒的归因分解。
由于输入依赖的选择性动力学将特征选择、循环状态传播和共享计算通路耦合在一起,对视觉状态空间模型的预测进行归因仍然具有挑战性。我们提出 MambaLIFT,这是一个面向 VMamba 的基于参考的、乘法器优先的归因框架,它使用针对选择性扫描注入、循环记忆、LayerNorm 和共享通路的交互感知规则,将贡献沿其计算图传播。MambaLIFT 按空间位置、VSS 块、扫描方向和计算机制对参考相对的类别 logit 差异 \(f_c(x)-f_c(x^0)\) 进行分解。在 ImageNet-1K 上的实验评估了 VMamba-T 和 VMamba-B,超参数在校准集上选择,忠实性在不相交的留出评估集上评估。在两种配置下,MambaLIFT 在所有审计的归因接口上均达到浮点精度级别的数值守恒。在均值颜色像素翻转下,它在两种配置上均取得显著高于 MambaLRP 的平均忠实性得分,并在所评估的方法中得分最高,包括使用匹配参考的 Integrated Gradients。在模糊替换下,MambaLIFT 在 VMamba-T 上不劣于 MambaLRP,在 VMamba-B 上与之相当,表明其优势取决于替换协议。在 VMamba-T 上的消融实验表明,交互分配、时间传播和通路组成会影响归因图。机制层面的分析进一步表明,精确的相关性守恒并不意味着在有限干预下具有可加效应:机制分解解释了参考相对的 logit 差异,但并不估计干预效应,也不确立因果有效性。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org