非线性动力系统作为可扩展且高效的物理神经网络

最先进机器学习（ML）模型规模的快速增长导致计算需求不断增加，推动了高能效硬件加速器的发展。被训练用于执行 ML 推理的物理系统，即物理神经网络，被提议作为加速器，部分原因在于其具有实现高能效的潜力。然而，在大多数物理神经网络研究中报告的 ML 推理准确率，都显著低于传统数字神经网络的最先进水平。在本工作中，我们通过仿真研究表明，采用现代 ML 训练实践（包括模型压缩），基于非线性动力系统的多种候选物理神经网络在 MNIST 手写数字识别上可以达到高达 99.2% 的准确率。我们还针对一个动力系统表明，将其作为受 MLP-Mixers 启发的参数高效 ML 架构的核心构建模块，可在 CIFAR-10 图像分类上实现高达 86.4% 的准确率（结合预训练和知识蒸馏时为 92.2%），而同一系统在不使用 mixer 架构时为 64%。mixer 方法在实现其准确率的同时，所使用的可训练参数比基线少 $>5\times$。最后，我们针对一个示例物理动力系统给出了推理能效和速度的粗略估算，表明相比数字电子神经网络可能实现数量级的改进。

中文由 AI 翻译，仅供参考，以原文为准。