解释正确性重要吗？将计算XAI评估与人类理解联系起来

可解释人工智能（XAI）方法通常使用功能正确性指标进行评估，这些指标也被称为忠实性或保真度，用于估计解释在多大程度上反映了模型的推理过程。人们假设更高的正确性会带来更好的人类理解，但这一联系尚未在受控的正确性水平下得到检验。我们开展了一项用户研究（N=200），在一个合成时间序列分类任务中操纵了解释正确性的四个水平（100%、85%、70%、55%），在该任务中参与者无法依赖领域知识或视觉直觉。解释被构造为类似特征归因的形式，其正确性是依据已知的真实基准来定义的，而非从训练好的模型中估计得出。参与者根据这些解释预测一个模拟 AI 的决策（前向模拟），我们使用他们的前向模拟准确率作为理解的代理指标。正确性影响了前向模拟准确率，但并非在每个水平上都如此：相对于 100%，准确率在 70% 和 55% 时下降，而在 70% 以下没有进一步下降，85% 与 100% 之间也没有结论性的差异。较低的正确性减少的是预测准确的参与者人数，而非均匀地降低准确率；即使解释完全正确，也只有一部分参与者的预测显著高于随机水平。在探索性分析中，一些参与者能准确预测决策，但当被问及 AI 使用了什么时却描述了错误的模式；自我报告评分仅当解释完全正确时才与前向模拟准确率相关。这些发现表明，对于特征归因式解释，并非所有功能正确性的差异都会转化为人类理解的差异，这凸显了需要用人 类结果来验证功能指标。

中文由 AI 翻译，仅供参考，以原文为准。