从脉冲视网膜神经节细胞群体进行神经形态解码与动态图像重建

从视网膜神经节细胞（RGC）的脉冲活动中解码视觉刺激，既能增进我们对视网膜编码的理解，也有助于视觉假体的设计。自然视觉是动态的，然而最先进的解码器大多用人工神经网络重建单帧图像，这些网络处理的是稠密的连续值信号，而非视网膜稀疏、异步的脉冲。我们提出疑问：动态场景能否完全在脉冲域内被重建并跟踪，其计算代价又是多少。我们构建了一个端到端的脉冲神经网络（SNN），其神经元随时间对记录到的 RGC 脉冲进行整合。在高密度微电极阵列上，从离体小鼠视网膜记录了多达 1836 个 RGC 的群体活动，同时呈现闪光图像、移动条、漂移光栅和随机移动的手写数字。对于移动数字，一个共享的脉冲编码器馈入两个读出端，一个重建图像，一个解码数字的位置。计算能耗由计数的突触操作估算。该 SNN 同时解码了“是什么”和“在哪里”。它重建刺激的结构相似性（SSIM）最高达 0.93，并随脉冲的累积不断精化重建，在 $32\times32$ 网格上以 1.33 像素的平均误差跟踪一个随机移动的目标。其保真度几乎与 17 个更大的脉冲和人工解码器中最好的一个相当（后者参数为 590 万至 17 亿，而本网络为 540 万），并且在平均放电率 14.2% 时，其估计所需计算能耗比相同架构的稠密人工网络少约 70 倍。因此，动态视觉场景可以在脉冲域内从视网膜群体活动中解码，所用网络紧凑，计算代价与可植入和可穿戴神经接口相兼容，为视觉假体的脉冲原生解码器提供了支持。

中文由 AI 翻译，仅供参考，以原文为准。