HOLE：用于神经网络可解释性的潜在嵌入同调观测

深度学习模型已在各个领域取得了显著成功，然而其学习到的表征与决策过程在很大程度上仍是不透明的、难以解释的。本工作提出了 HOLE（Homological Observation of Latent Embeddings，潜在嵌入的同调观测），一种通过持续同调来分析和解释判别式神经网络的方法。HOLE 从中间激活中提取拓扑特征，并通过一套可视化技术加以呈现，包括簇流图、团块图和热图树状图。这些工具有助于考察各层表征的结构与质量。我们使用一系列判别式模型对 HOLE 进行评估，重点关注表征质量、跨层可解释性，以及对输入扰动和模型压缩的鲁棒性。结果表明，拓扑分析揭示了与类别分离、特征解耦和模型鲁棒性相关的模式，为理解和改进深度学习系统提供了互补的视角。

中文由 AI 翻译，仅供参考，以原文为准。