内在神经元异质性带来稳健高效的丰富表征

异质性是许多生物系统普遍存在的属性，具有深远的计算意义。近年来，将这种异质性整合进人工计算系统已引起关注。虽然针对特定任务优化神经元和突触的异质性可以实现最先进的性能，但这种自上而下的优化在生物学上不合理，容易发生灾难性遗忘，并且既耗费数据又耗费能量。相比之下，生物有机体具有内在的、与任务无关的、稳定的异质性，能够以极低的代谢成本执行许多任务。受此启发，我们研究了求解数百个多样化时间任务的循环神经网络中与任务无关的异质性。异质性以神经元膜时间常数的内在无序性形式引入。我们的结果表明，内在异质性显著提高了速率编码和脉冲编码网络的整体性能与鲁棒性。小型异质网络即使没有循环连接，也能以极低的成本和复杂度达到大型、高度循环、同质网络的性能。我们认为，尽管异质性是与任务无关的，但它通过使神经元反应多样化来增强表征能力，并在两个机器学习基准和一个神经科学基准上得到了验证。我们的工作凸显了内在的、与任务无关的异质性在实现多功能、高能效计算方面的效用——这一特性对神经形态领域高度相关，在该领域中，器件间的变异性可被用来弥补有限的训练预算和架构约束。

中文由 AI 翻译，仅供参考，以原文为准。