AdaS-ViT:面向脉冲视觉变换器的测试时自适应路由,实现超高能效
AdaS-ViT: Test-Time Adaptive Routing for Spiking Vision Transformers with Ultra-High Energy Efficiency
预印本 · 尚未经过同行评审
AdaS-ViT 在 ImageNet-1k 上每张图像仅耗 1.02 至 2.45 毫焦,准确率能耗比达 32 至 72 倍。
脉冲神经网络(SNN)有望实现事件驱动且高能效的视觉计算,然而现有的脉冲视觉 Transformer(S-ViT)在很大程度上将脉冲 token 限制为沿时间、空间和通道维度的固定且统一的发放方案,而抑制由此产生的计算冗余,则需要在测试时跨全部三个轴联合运作的自适应发放机制。为此,我们提出自适应高效积分发放(AdaE-IF)模型,该模型参考每个脉冲 token 的注意力分数,将显著区域路由至细粒度发放模式,同时为其余区域分配节能的粗粒度模式。在 AdaE-IF 的基础上,我们进一步引入脉冲门控自注意力(S-GSA)和脉冲局部门控单元(S-LGU),在 token 和通道粒度上实现选择性脉冲发放。我们将上述机制与模块集成到 AdaS-ViT 中,这是一种测试时自适应路由架构,采用渐进式时空课程训练,以稳定发放精度与路由掩码的协同适应。在涵盖多种数据规模和模态的基准上开展的大量实验表明,AdaS-ViT 始终取得极具竞争力的性能。值得注意的是,在 ImageNet-1k 上,它每张图像仅消耗 1.02 至 2.45 毫焦耳,并达到 32$\times$ 至 72$\times$ 的精度-能耗比,运行于经济的推理机制中,从而进一步推进了能效边界。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neural and Evolutionary Computing · arxiv.org