arXiv · Neurons and Cognition· Sanjith Senthil, Rishidev Chaudhuri
· 3 小时前AI 评分50
利用噪声波动和连接重缩放有效修剪任务训练循环神经网络
Effective pruning of task-trained recurrent neural networks using noisy fluctuations and connection rescaling
预印本 · 尚未经过同行评审
AI 导读
噪声修剪在任务训练循环网络中保持任务表现，优于仅用连接强度和非局部策略，并开发出优于原版的新版本。
摘要 · AI 翻译
修剪网络连接是大脑功能的关键，但尽管其重要性，现有具备良好性能且生物学上合理的修剪规则却很少。我们评估了 noise-prune，这是一种最近引入的用于循环网络的无监督局部修剪规则，它利用噪声波动来确定连接的重要性。noise-prune 此前仅在无特定计算功能的随机网络上进行过实证测试。我们表明，noise-prune 在任务训练的循环神经网络中保持了任务性能，大大优于仅使用连接幅度的策略，并超过了使用二阶信息的非局部策略。noise-prune 不是确定性地移除低于阈值的连接，而是根据连接的重要性采样保留哪些连接，并增强保留的连接以维持平均强度。我们表明，这种采样和重新缩放对良好性能至关重要，并且可以增强其他修剪策略。我们还发现，最佳经验重新缩放程度低于原始理论论证的预测，因此我们开发了 noise-prune 的新版本，其性能优于先前版本。我们的结果表明，基于局部活动统计的生物学动机修剪策略，通过将活动依赖的连接选择与对存活连接的补偿性增强相结合，可以有效地在功能性循环网络中保持任务性能。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neurons and Cognition · arxiv.org