学习轨迹在神经网络权重空间与内部表征中留下可解码的痕迹
Learning Trajectories Leave Decodable Traces in Neural Network Weight Space and Internal Representations
预印本 · 尚未经过同行评审
同一任务训练出的网络权重结构相近,但个体差异是否携带学习历史此前不清楚。研究训练了 30 个网络,检验最终权重能否匹配初始权重、识别共享初始化与解码先前任务顺序,并用线性探针在 80 个留出网络上测试。结果显示初始权重可被正确匹配,任务顺序解码准确率达 100%,而初始权重本身无法可靠重建,说明最终权重只保留选择性的历史信息。
在相同任务上训练的神经网络会发展出相关的权重空间结构,但在学习之后仍可相互区分。这些差异仅仅反映了不同的解决方案,还是保留了关于个体学习历史的信息?我们检验了最终权重是否揭示了初始化、任务顺序以及更早的轨迹状态。训练重组了整体集合:初始的成对距离并不能一致地预测最终距离。尽管如此,全部 30 个训练后的网络都能在各自数据集的十个候选中被正确匹配到其初始权重。共享同一初始化的网络在不同批次调度下也发展出可识别的最终隐藏表征,尽管与初始活动的直接比较未能恢复身份。学习顺序同样保持可读。在完成一个共同最终任务的十个 epoch 后,一个线性探针在 80 个留出网络上以 100% 的准确率解码了两个更早任务的顺序。更早的中间权重状态部分可预测,但个体初始权重无法被可靠地重建。因此,最终权重保留了选择性的历史信息,而非完整的轨迹记录。受扰动的网络恢复了分类性能,却没有回到其未受扰动的训练路径。这种分离在不同数据集、干预时间和网络层上持续存在。此外,2,160 个对齐端点对中有 2,157 个在采样插值点上未显示正的损失障碍,表明不同解决方案之间存在低损失连接,而非收敛到单一权重向量。总之,这些发现表明,共同任务约束网络形成相关的成功解决方案,却不会抹去其个体历史。最终权重不仅反映了网络学到了什么,也反映了学习从何处开始以及如何展开。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neurons and Cognition · arxiv.org