通过谱神经网络与非线性矩阵感知的隐式正则化

近年来，内隐偏差现象作为神经网络卓越泛化能力的一个基本方面而引起了人们的兴趣。简而言之，它意味着在许多神经网络中，即使损失函数中没有任何显式正则化项，梯度下降动力学也会收敛到某个正则化学习问题的解。在这项工作中，我们表明这一现象扩展到矩阵感知中的非线性谱参数化。更准确地说，我们提出了一种称为谱神经网络（简称 SNN）的矩阵网络架构，其中每个神经元对输入矩阵的奇异值施加非线性激活。从概念上讲，这意味着用奇异值和奇异向量而非元素来对矩阵空间进行坐标化，这对于矩阵学习可能是一个富有成效的视角。我们证明了在梯度流（离散梯度下降的连续近似）下，由 SNN 参数化的矩阵感知模型在训练动力学过程中平方损失呈指数快速衰减，并且训练会隐式地选择一个使核范数最小化的近似解。我们还通过实证研究展示了 SNN 架构在矩阵感知背景下的有效性。我们相信 SNN 架构有潜力在广泛的矩阵学习场景中得到广泛应用。

中文由 AI 翻译，仅供参考，以原文为准。