跳到正文
原文
arXiv · Neural and Evolutionary Computing· Zecheng Hao, Zihan Huang, Shenghao Xie 等 6 人
· 2 天前

AdaS-ViT:面向脉冲视觉变换器的测试时自适应路由,实现超高能效

AdaS-ViT: Test-Time Adaptive Routing for Spiking Vision Transformers with Ultra-High Energy Efficiency

预印本 · 尚未经过同行评审

AI 导读

AdaS-ViT 在 ImageNet-1k 上每张图像仅耗 1.02 至 2.45 毫焦,准确率能耗比达 32 至 72 倍。

摘要 · AI 翻译

脉冲神经网络(SNN)有望实现事件驱动且高能效的视觉计算,然而现有的脉冲视觉 Transformer(S-ViT)在很大程度上将脉冲 token 限制为沿时间、空间和通道维度的固定且统一的发放方案,而抑制由此产生的计算冗余,则需要在测试时跨全部三个轴联合运作的自适应发放机制。为此,我们提出自适应高效积分发放(AdaE-IF)模型,该模型参考每个脉冲 token 的注意力分数,将显著区域路由至细粒度发放模式,同时为其余区域分配节能的粗粒度模式。在 AdaE-IF 的基础上,我们进一步引入脉冲门控自注意力(S-GSA)和脉冲局部门控单元(S-LGU),在 token 和通道粒度上实现选择性脉冲发放。我们将上述机制与模块集成到 AdaS-ViT 中,这是一种测试时自适应路由架构,采用渐进式时空课程训练,以稳定发放精度与路由掩码的协同适应。在涵盖多种数据规模和模态的基准上开展的大量实验表明,AdaS-ViT 始终取得极具竞争力的性能。值得注意的是,在 ImageNet-1k 上,它每张图像仅消耗 1.02 至 2.45 毫焦耳,并达到 32$\times$ 至 72$\times$ 的精度-能耗比,运行于经济的推理机制中,从而进一步推进了能效边界。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。