RIPE-MambaSpike:面向参数高效事件视觉的分辨率无关脉冲状态空间接口
RIPE-MambaSpike: Resolution-Independent Spiking-State-Space Interfaces for Parameter-Efficient Event-Based Vision
预印本 · 尚未经过同行评审
RIPE-MambaSpike 用固定通道宽度的多分辨率桥接替代分辨率相关投影,在 DailyDVS-200 上以 8.04M 参数达 45.7% top-1 准确率。
脉冲-Mamba 混合模型在事件视觉上达到了很强的准确率,但现有设计往往需要数千万参数。这些开销很大一部分来自脉冲前端与状态空间主干之间的连接方式,而非混合架构本身。在一个代表性模型中,单个依赖分辨率的投影就占了 36.25M 参数中的 33.55M。为此,我们提出 RIPE-MambaSpike(分辨率无关、参数高效),用固定通道宽度的分层多分辨率桥接替换该投影。其部署参数量为 0.870M,在 43 倍输入面积范围内,于固定时间步和宽度下保持恒定。重参数化脉冲阶段、时间解耦调制,以及动态凸包约束的双流膜电位注意力,在这一紧凑设计下保持了准确率。结果上,RIPE-MambaSpike 在 CIFAR10-DVS、N-Caltech101 和 DailyDVS-200 上达到帕累托最优。值得注意的是,在 200 类的 DailyDVS-200 上,一个缩放至 8.04M 的配置达到 45.7% top-1 准确率,是该基准上已报道的最佳脉冲结果,并以比稠密 ANN 少 3.0-15.1 倍的参数优于先前脉冲方法。总体而言,我们的发现表明,有竞争力的事件识别并不需要依赖分辨率的参数增长。代码见 https://github.com/MuhiminOsim/RIPE-MambaSpike。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neural and Evolutionary Computing · arxiv.org