arXiv · Neurons and Cognition· Hardik Rajpal, Dan Goodman
· 3 小时前AI 评分58
人工神经网络中表征学习涌现的泛化
Emergent Generalization by Representation Learning in Artificial Neural Networks
预印本 · 尚未经过同行评审
AI 导读
低维神经流形是否具有功能意义一直有争议。作者在时间序列预测任务中给循环神经网络加入信息瓶颈，用因果涌现的信息论度量追踪表征在记忆到泛化转变中的动态，发现其呈先降后升的非单调轨迹，且涌现结构的幅度可预测泛化表现。大鼠学习交替迷宫任务时海马 CA1 与内侧前额叶活动呈现类似的非单调涌现动态，并与行为表现相关。该文为预印本，尚未经同行评审。
摘要 · AI 翻译
降维已被证明能有效识别神经流形，即高维神经活动背后的低维结构。这些低维表征提升了群体水平编码的可解释性。然而，这类低维表征是否具有生物学相关性、是否在学习系统中带来功能优势，还是仅仅反映神经元层面的活动，在神经科学中仍存争议。我们表明，在时间序列预测任务中，一个显式的信息瓶颈迫使循环神经网络学习低维表征，这对于旋转泛化和分布外泛化是必要的。利用因果涌现的信息论度量，我们刻画了该表征在从记忆到泛化转变过程中的动力学，发现了一条非单调轨迹：即便预测损失单调下降，该轨迹仍先下降、达到最小值，随后上升至最大值。这一轨迹随任务复杂度而变化，且涌现结构的幅度能够可靠地预测泛化表现。对学习交替迷宫任务的大鼠海马CA1与内侧前额叶活动的分析，揭示了与行为表现相伴随的类似非单调涌现动力学。综上，这些发现表明，神经网络学习紧凑、分布式且涌现的表征的能力，为泛化提供了功能优势，支持了习得表征在认知中的因果作用。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neurons and Cognition · arxiv.org