跳到正文
原文
arXiv · Neural and Evolutionary Computing· Yimeng Shan, Haodi Wu, Wei Zheng 等 9 人
· 3 天前

EM-SDTrack:面向事件相机的高效多尺度脉冲驱动跟踪

EM-SDTrack: Efficient Multi-Scale Spike-driven Tracking for Event Cameras

预印本 · 尚未经过同行评审

AI 导读

EM-SDTrack 以 27% 能耗和 18% 参数量保留教师模型 99% 精度,在 Lynxi KA200 上以 116 FPS 实时运行。

摘要 · AI 翻译

事件驱动的脉冲神经网络(SNN)与事件相机稀疏的时空输出相匹配,使脉冲驱动的跟踪器对神经形态边缘部署极具吸引力。然而,事件仅通过其空间分布来揭示目标,而该分布的范围在单个序列内的变化可超过十倍。因此事件跟踪需要多尺度表征,而现有的脉冲驱动跟踪器缺乏这一能力。从人工神经网络迁移多尺度方案,要么因浮点乘法而破坏脉冲驱动推理,要么在不同输入尺度上重复主干计算。为解决这一问题,我们提出脉冲驱动多尺度交互(SDMI),在单次脉冲前向传播中完成跨尺度交互。其核心——二进脉冲采样(DSS)——将采样坐标限制为二进分数,因而只需移位与加法。由此得到的 M-SDTrack 在推理时完全脉冲驱动。为适应更紧的边缘预算,我们进一步提出极性优先蒸馏(PPD),将 M-SDTrack 蒸馏为 EM-SDTrack。PPD 将被体素表示抵消的事件计数视为特权信息。其核心约束——极性引导曲率蒸馏(PGCD)——在极性引导扰动下对齐模板—搜索关系的曲率。在 FE108、FELT 和 VisEvent 上,M-SDTrack 以 65.1、41.7 和 42.0 的 AUC 达到最先进精度。EM-SDTrack 以 27% 的能耗和 18% 的参数量保留了其教师 M-SDTrack-Tiny 99% 的精度。在 Lynxi KA200 神经形态芯片上,它以 116 FPS 和 0.12 W 无损实时运行。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。