结构之前的不变性：表征学习中涌现压缩的两种模式

学习到的表征在生物神经网络和人工神经网络中展现出显著的不变性，不同基质以及由漂移、异质性和初始化驱动的变异均不改变这一点。为理解这种不变性，我们提出涌现自适应表征学习（Emergent Adaptive Representation Learning, EARL）框架，该框架区分学习到的表征中两种涌现模式：状态空间压缩，即学习到的表征对其自身未来的预测能力超出网络各单元单独预测所能达到的水平；以及参数空间压缩，即具有不同微观参数的网络收敛到相同的表征。我们将两者形式化为 Fisher 敏感性，并为每种模式引入集合层面的信息论度量。在带有训练瓶颈的循环储备池中，参数空间压缩在训练的最初几个 epoch 内即上升，且部分独立于任务；而状态空间压缩约在 30 个 epoch 之后才上升，且仅当网络开始学习任务的时间结构时才会出现。这些结果表明，对基质的不变性与任务特异的涌现结构是在学习的不同阶段获得的。

中文由 AI 翻译，仅供参考，以原文为准。