BEAST3D：基于多视角视频与高斯泼溅的动物行为分析和神经编码

多视角视频记录越来越多地被用于捕捉实验环境中动物的三维运动，然而从这些记录中提取丰富的三维表征仍然具有挑战性。有监督的姿态估计需要大量人工标注，而在通用场景数据集上训练的通用三维重建模型，在实验室实验所特有的专门图像和稀疏视角设置下会失效。我们通过 BEAST3D 来解决这些局限，这是一个自监督预训练框架，能够从无标注、已标定的多视角视频中学习三维视觉表征。BEAST3D 使用视觉 transformer 预测三维高斯 splats，通过可微渲染重建留出视角，同时将动物从背景中分割出来。BEAST3D 通过直接以已知相机参数为条件，仅用四个视角即可重建三维结构——这与通用模型不同，后者必须从实验室环境中很少可用的密集重叠视点估计相机几何。通过对四个物种的全面评估，我们证明 BEAST3D 能产生丰富且视角不变的特征，这些特征可有效迁移到三个下游任务：新视角合成，用于验证所学三维表征的质量；多视角姿态估计，提供行为分析中广泛使用的稀疏关键点轨迹；以及神经编码，将三维行为特征与同步记录的神经活动相关联。因此，BEAST3D 建立了一个通用的行为分析框架，能够利用现代多视角实验室记录中的三维结构。

中文由 AI 翻译，仅供参考，以原文为准。