跳到正文
原文
arXiv · Image and Video Processing· Caixin Wang, Qingrui Wang, Jie Zhang 等 4 人
· 1 天前

HIVE-Diff:从单帧 LDR 和事件重建高帧率 HDR 视频

HIVE-Diff: High Frame Rate HDR Video Reconstruction from a Single LDR Frame and Events

预印本 · 尚未经过同行评审

AI 导读

HIVE-Diff 用单帧 LDR 和事件重建 N 帧 HDR 视频,在合成与真实数据上验证了重建质量与真实数据适应能力。

摘要 · AI 翻译

高帧率 HDR 视频在自动驾驶和科学成像等应用中非常重要,这些场景中快速运动和极端光照往往同时出现。传统帧相机在时间分辨率与动态范围之间存在权衡,而事件相机可在宽光照范围内提供互补的高速亮度变化测量。这些特性推动了基于事件的 HDR 重建,现有方法大致遵循纯事件和事件-帧混合两种范式。然而,纯事件 HDR 重建由于缺乏绝对强度参考,会出现亮度和颜色漂移。事件-帧混合方法利用低动态范围(LDR)帧作为锚点来缓解这种歧义,但大多数方法在可用的 LDR 时间戳上进行一对一的 HDR 重建。在本工作中,我们研究单参考 HDR 时间扩展,即从单个 LDR 参考和事件重建 N 帧 HDR,而非 N 个对齐的 LDR 观测。我们开发了 HIVE-Diff,一个以事件为条件的视频扩散框架,将任务分解为事件引导的时间生成和 HDR 内容补全。由于成对的真实 HDR-事件数据稀缺,我们在合成数据上训练,并使用 LDR-事件序列作为代理监督,通过教师-学生蒸馏将模型适配到真实事件域。在合成数据集和多个真实世界数据集上的实验表明,该方法具有强大的重建质量和稳健的真实数据适配能力。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Image and Video Processing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。