跳到正文
原文
arXiv · Neural and Evolutionary Computing· Nhan Trong Luu, Duong Trung Luu, Thang Cong Truong
· 1 天前

GC-LIF:具有群耦合膜动力学的脉冲群等变神经网络

GC-LIF: Spiking Group-Equivariant Neural Network With Group-Coupled Membrane Dynamics

预印本 · 尚未经过同行评审

AI 导读

提出GC-LIF神经元,使脉冲网络在每步保持群等变性,SGE-Net在十个数据集-群对中九个优于带旋转增强的普通SNN。

摘要 · AI 翻译

脉冲神经网络(SNN)有望实现事件驱动、低功耗的推理,但在视觉任务上,它们仍只能通过数据增强来获得旋转不变性。群等变 CNN 将此类对称性内建于架构之中,然而尚缺少一个忠实的脉冲类比:置于 $G$-等变卷积之后的漏积分放电(LIF)神经元会通过其膜递归破坏等变性。我们给出了这种情况不发生的一个充要条件。当且仅当神经元参数 $(\beta, v_{\mathrm{th}})$ 沿群作用在(群、空间)索引上的联合轨道保持恒定时,该层在每个时间步都是等变的。我们以闭式解求解该条件,且它适用于任何逐元素的有状态神经元。其充分性部分特化了等变循环网络的一个已知结果;其必要性部分排除了 SNN 中常见的逐神经元异构参数。满足该条件的逐通道参数化——群耦合 LIF(GC-LIF)——与 $p4$ 和 $p4m$-等变卷积以及脉冲率群最大池化相结合,构成 SGE-Net。在 MNIST、KMNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上,将每个检查点在干净测试集及其所有群变换副本上评估,未经旋转训练的 SGE-Net 在 $C_4$ 和 $D_4$ 下不变,并在十个数据集-群对中的九个上优于经旋转训练的普通 SNN,而非等变基线在最坏情况下损失高达 $72$ 个百分点。算子级测试在训练前后均证实了该理论,一项解析估计表明,在八个时间步下,SGE-Net 的算术能耗为标准 CNN 的 $1.7\times$,并比其 ANN 对应物低 $2.3\times$。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件