结构之前的不变性：表征学习中涌现压缩的两种模式

该预印本提出EARL框架，用以区分表征学习中涌现压缩的两种模式。报道称，参数空间压缩在训练最初几个epoch上升，出现在结构形成之前。该结果来自计算模型分析，尚未经同行评审，适用范围限于所研究的表征学习模型与训练任务，不能推广到人脑或生物学习过程。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。