循环 Transformer 中的谱裕度与记忆路由

循环式 Transformer 会重复应用同一组权重块。每次迭代保留上一隐藏状态的一部分（即 carry），并加上该权重块的输出，因此信息可以通过这两条路径在迭代之间传递。我们研究 Parcae 架构的一个基于 LayerNorm 的小型变体，并提出两个问题：迭代状态是否会收敛，以及学习跨迭代记忆是否需要 carry。关于稳定性，随着 carry 增大，pre-LayerNorm 使该权重块在其不动点处变得不那么敏感，但不足以保证收缩性：在标量 carry 下，即使在局部稳定的不动点处，扰动也可能在单次迭代中增长。这些不动点之所以稳定，是因为循环的 Jacobian 谱半径保持在 $1$ 以下；其与 $1$ 的距离（谱裕度）随着 carry 接近 $1$ 而收窄，并且在高 carry 下随着宽度增大而收窄，且某些初始化在迭代预算内不会收敛。关于记忆，在固定循环深度下训练的多跳复制任务，在 carry 冻结为 $0.5$、$0.02$ 或 $0$ 时与使用可学习 carry 时学习效果一样好，而可学习 carry 在训练期间变化很小。当训练期间对深度进行采样时，carry 为 $0.5$ 仍能训练，但 $0.02$ 和 $0$ 不能。所有实验规模都很小（训练时 $d \le 32$）。

中文由 AI 翻译，仅供参考，以原文为准。