将神经群体几何蒸馏进 Transformer 与 GRU 以进行运动控制
Distilling Neural Population Geometry into Transformers and GRUs for Motor Control
预印本 · 尚未经过同行评审
研究提出神经蒸馏方法，把生物脑中有计算价值的神经群体结构迁移到人工控制器。作者以三个猕猴运动皮层数据集为教师，在训练中让门控循环单元网络和 Transformer 的内部状态与皮层神经群体几何对齐，控制器部署时不需要神经数据。在模拟手臂任务中，该方法在 18 项比较中的 10 项取得最低中位误差，并提高了控制器对感觉反馈噪声的稳健性，其内部状态空间轨迹呈现低缠绕特征。该工作为预印本，尚未经同行评审。
我们提出神经蒸馏（neuro-distillation，Neuro-Dist），这是一种旨在将生物大脑中具有计算用途的神经群体结构直接迁移到人工控制器中的技术。我们使用三个猕猴运动皮层数据集作为神经蒸馏的教师，在训练过程中使控制器的内部状态与皮层神经群体几何对齐；控制器部署时无需任何神经数据。我们评估了控制模拟手臂的门控循环单元（GRU）网络和 Transformer。在涵盖已训练、学生留出和全新目标方向的 18 项比较中，Neuro-Dist 在其中 10 项上取得了五种方法中最低的中位误差，这些方法包括从运动学变量进行蒸馏。种子划分的聚合统计比较显示，在已训练目标和全新目标上，Neuro-Dist 显著优于全部六种对照方法，在学生留出目标上则显著优于其中五种（Holm 校正的族系误差率 p<0.05）。我们进一步发现，Neuro-Dist 能够显著提升控制器对感觉反馈噪声的鲁棒性。在机制上，Neuro-Dist 在控制器内部状态空间中诱导出低缠绕（low tangling）的轨迹——这是运动皮层的一个功能上重要的特征，表明已知的运动皮层群体几何特征被成功迁移。这些发现确立了神经蒸馏作为行为蒸馏的一种补充，并指向一类新型神经接口：它们将生物神经群体结构作为一种计算资源，用于改善机器人和具身 AI 中目标导向行为的控制。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neurons and Cognition · arxiv.org