标准可解释模型：从基本对称性出发设计可解释机器学习方法

随着人工智能模型复杂度的提升，可解释性已成为理解、调试和控制其计算过程不可或缺的工具。然而，可解释性缺乏用于演绎式设计可解释方法的通用理论。理论与方法之间的这一鸿沟导致了文献的碎片化和评估协议的不一致。为填补这一空白，我们引入标准可解释模型（Standard Interpretable Model, SIM），一种能够从第一性原理出发、演绎式设计可解释方法的通用理论。具体而言，SIM 以一组前提的形式，概括了对于目标实体而言可解释性是什么。从这些前提出发，SIM 系统地推导出可解释性对称性及相应的约束。随后，人们可以通过在优化问题中引入约束，或将约束编译为可解释架构，来构建可解释模型。最重要的发现——无论在理论上还是实证上——是完全的表达能力与可解释性对称性可以在同一模型中并存，这表明准确性与可解释性之间的权衡是模型设计造成的人为产物。我们在语言模型（LMs）上展示了这一点：基于 SIM 的语言模型在不对可解释性做任何妥协的情况下，达到了与同等不透明语言模型相当的性能。除此之外，SIM 还展示了如何提升现有预训练模型的可解释性，指出了尚未充分探索的研究方向，并统一了长期以来处于碎片化状态的一门学科，为可解释性课程提供了教学基础。

中文由 AI 翻译，仅供参考，以原文为准。