质疑深度学习中的表征乐观主义：断裂纠缠表征假说

现代 AI 领域的许多兴奋点源于这样一个观察：扩大现有系统的规模会带来更好的性能。但更好的性能是否必然意味着更好的内部表征？表征乐观主义者认为必然如此，而本文对这一观点提出挑战。我们比较了通过开放式搜索过程演化而来的神经网络与通过传统随机梯度下降（SGD）训练的网络，任务都是生成单张图像这一简单任务。这一极简设置提供了一个独特优势：每个隐藏神经元的完整功能行为都可以轻松可视化为一张图像，从而揭示网络输出行为是如何在内部逐神经元构建的。结果令人震惊：虽然两个网络产生相同的输出行为，但它们的内部表征差异巨大。SGD 训练的网络表现出一种我们称之为断裂纠缠表征（fractured entangled representation, FER）的失序形式。有趣的是，演化网络在很大程度上缺乏 FER，甚至接近统一因子化表征（unified factored representation, UFR）。在大模型中，FER 可能正在削弱泛化、创造力和（持续）学习等核心模型能力。因此，理解和缓解 FER 可能对表征学习的未来至关重要。

中文由 AI 翻译，仅供参考，以原文为准。