跳到正文
原文
arXiv · Image and Video Processing· Chi-Wei Lee, An-Kai Chen, Cheng-Han Chiang 等 5 人
· 22 小时前

OffBeat:超越相机帧率进行4D捕捉的多陪集采样

OffBeat: Multicoset Sampling for 4D Capture Beyond the Camera Frame Rate

预印本 · 尚未经过同行评审

AI 导读

OffBeat将交错触发相机阵列建模为多陪集采样器,在N3DV上动态区域PSNR较4DSloMo提升3.04 dB。

摘要 · AI 翻译

对于4D重建,同步多相机装置在同一时间戳记录所有视角,因而会遗漏这些时间戳之间的运动。交错触发则将相同的帧分散到更多时间戳上。然而,当每一行上的相机依次触发时——正如4DSloMo在N3DV装置上的调度那样——这一行就相当于一台移动相机,使深度与运动相互混淆。我们提出OffBeat,它将交错触发的装置建模为空间分布的多陪集采样器:同一采样网格的平移副本。仅凭标定信息,OffBeat就能推导出同时触发的相机分组及其触发顺序。由于每个时间戳只有一个分组进行记录,短寿命图元可能拟合其相机共有的误差,例如颜色偏移,并在新视角中产生闪烁。我们证明,一个图元随时间的透明度要对所有分组等权加权(无论分组数量多少),当且仅当其持续时间至少为一个相机帧间隔。在Spacetime Gaussians上,最小寿命可近似这一界限,而该长度的闭式平滑盒函数能精确满足它,在PSNR几乎相同的情况下,其闪烁比用高斯函数替代更少。在N3DV上的模拟交错拍摄中,OffBeat在每一个测试帧上都优于结合视频扩散的完整4DSloMo流程,平均动态区域PSNR高出3.04 dB。在首个与最后一个同步帧之间,它优于每个场景中最佳的同步方法(无论是否使用帧插值),平均动态区域PSNR高出1.98 dB,而同步拍摄在其自身帧上表现更好。在PanopticSports上,在此帧范围内,OffBeat的PSNR与使用插值的同步拍摄相当。在每一个N3DV场景上,用我们的调度替换4DSloMo的调度,都能提升Spacetime Gaussians、无扩散的4DSloMo以及我们的重建的动态区域PSNR。多相机装置只需改变每台相机的触发时机,就能在相同帧数下跟踪更快的运动。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Image and Video Processing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。