学习读取残差图像用于单像素摄影

连续视频的代价随摄像头数量、分辨率和录制时长而增长，然而许多监控任务寻找的是事件而非完整图像，并且可以在紧凑的单像素测量流上运行。此时，将选定的时间区间恢复为视频是理想的，但在像素数仅为 0.24\% 的情况下，场景相关图像看起来像噪声，且逐片段优化需要数分钟。然而，将估计的残差与编码模式进行相关，可以得到残差图像，即中心化测量损失的梯度。通过预训练视频解码器提升后，其与真实误差的一致性超过了对照解码器。视频潜变量反演（VLI）随后在 1{,}000 个桶值下优于逐帧图像潜变量重建。测量梯度条件视频流（MGV-Flow）经过一次训练，以读取提升后的残差图像及前序帧，在 1.55\,s 内重建五帧，中位 PSNR 为 22.9\,dB，而 VLI 为 398\,s 和 18.1\,dB，在高运动场景中增益最大。方向保真度对 30 种编码配置进行排序，并选择一种需要少三分之一桶值的配置。在物理系统上，MGV-Flow 无需重新训练即优于逐帧重建。在桶值流上滑动窗口，在一张 RTX~4090 上达到每秒 3.2 帧，理论上在数据中心加速器上可达每秒 20 帧。演示见 https://cavedweller509.github.io/MGV-Flow。

中文由 AI 翻译，仅供参考，以原文为准。