arXiv · Neural and Evolutionary Computing· Roel Koopman, Sebastian Otte, Sander Bohté
· 22 小时前
SpikingGamma:通过平滑时间延迟实现时间精确的在线SNN训练
SpikingGamma: Temporally Precise Online SNN Training Through Smoothed Temporal Delays
预印本 · 尚未经过同行评审
AI 导读
SpikingGamma让脉冲神经网络用平滑延迟状态和sigma-delta编码实现稳定的在线训练,对时间分辨率保持稳健。
摘要 · AI 翻译
脉冲神经网络(SNN)的神经形态硬件实现,有望通过稀疏的、事件驱动的计算,实现高能效、低延迟的人工智能。然而,在精细的时间离散化下训练 SNN 仍然具有挑战性,这阻碍了低延迟响应能力,也阻碍了将软件训练的 SNN 映射到高效硬件上。在当前方法中,脉冲神经元被建模为自循环单元,嵌入到循环网络中以随时间保持状态,并使用基于替代梯度的 BPTT 或 RTRL 变体进行训练。这些方法随时间分辨率的扩展性很差,而在线近似对长序列表现出不稳定性,并且往往无法捕捉时间模式。为解决这些局限,我们开发了 SpikingGamma,这是一种 SNN 架构,其中神经元维护一个紧凑的平滑延迟状态库,并通过 sigma-delta 脉冲编码进行通信。我们表明,在前馈网络中,SpikingGamma 通过连续重建信号支持直接的在线误差反向传播,避免了对脉冲不连续性的替代梯度。这使得在最小脉冲发放下稳定学习时间模式,并将前馈 SNN 扩展到具有竞争力的精度的复杂任务和基准上,同时保持对模型时间分辨率的鲁棒性。我们的方法既为使用替代梯度训练的循环 SNN 提供了一种替代方案,也为将 SNN 映射到神经形态硬件提供了一条新途径。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neural and Evolutionary Computing · arxiv.org