像素处理器阵列上的可编程硅视网膜

标准的动态视觉传感器通过检测时间对比度变化来近似视网膜处理过程，具有高速和高动态范围的特点。在本工作中，我们探索引入额外的受生物启发的处理阶段——具体而言是空间滤波和增益控制——是否能为某些下游任务（如显著性预测）带来优势。我们首次在 SCAMP-5 像素处理器阵列上实现了多级硅视网膜模型，并配套了基于 GPU 的仿真框架。我们在视频强度重建和视频显著性预测任务上评估了模型的性能。虽然该仿生模型在重建绝对强度帧方面效果较差，但与标准 DVS 事件表示相比，它将显著性预测损失降低了 13\%，同时将事件率降低了约 47\%。这些实验使用了一个轻量级的、约 10 万参数的 FireNet 风格网络，该网络由基于事件的重建任务改造为显著性预测任务。这些结果表明，硅视网膜的“信息蒸馏”机制能够为下游神经网络实现更高效的表示，尤其是在带宽受限的边缘应用中。

中文由 AI 翻译，仅供参考，以原文为准。