相关性正在毁掉你的梯度下降

自然梯度下降以及由此发展出的预条件优化器，通过估计曲率并将曲率的逆作用于梯度来校正梯度下降。对于深度神经网络的任意单层，可以证明这种校正近似分解为两个因子：一个因子考虑梯度信号中的相关性，另一个因子考虑到达该层的数据中的相关性。在此我们表明，第二个因子可以表示为基变换而非曲率变换，并且如此考虑时，它可以完全从优化器中移除，而置于网络本身之中。具体而言，我们表明，一旦前向权重得到校正，右侧自然梯度下降就可以以一种具有三个完全等价形式的实现方式来实现：一个梯度预条件器、前向传播中的一个去相关线性变换，或者一组循环动力学，其中所有更新都是 Hebbian 的，并且仅依赖于局部可用的信号。我们发现的（循环）去相关方法与大脑中抑制性学习和稳态可塑性所提出的方法高度一致。值得注意的是，我们的变换不需要矩阵求逆、不需要矩阵分解，也不需要超出单个突触处可用信息之外的任何信息。因此，它可以应用于分布式和受物理约束的系统，包括神经形态硬件和神经系统，而现有的预条件器无法做到这一点。我们在卷积网络和残差网络模型中通过实验证明了其有效性，同时显著改进了一系列近似生物合理的信用分配方法。

中文由 AI 翻译，仅供参考，以原文为准。