DUNEDepth：通过3D视觉基础模型的混合适配实现支气管镜深度与位姿估计

最先进的支气管镜引导系统和计算机辅助诊断方法已成为早期肺癌检测的重要工具。有效使用这些工具取决于能否将患者的支气管镜气道检查视频与其术前 3D 胸部 CT 扫描准确关联起来。遗憾的是，从检查视频中推导出此类关联（包括支气管镜深度和相机运动）仍是一个未解决的问题。基于近期提出的 3D 视觉基础模型，我们提出了 DUNEDepth，这是一种混合架构，结合了共享的 DUNE ViT 编码器、双 MASt3R 交叉注意力解码器结构，以及包含 MASt3R 和 Reloc3r 模型元素的预测头。为使该架构适配我们的应用，我们采用了一种集成的混合合成监督/自监督训练策略，该策略同时利用支气管镜视频和 CT 衍生的虚拟支气管镜视图。基于支气管镜视频序列的实验表明，与先前提出的自监督方法相比，DUNEDepth 能更准确地推导出深度信息和相机运动轨迹。

中文由 AI 翻译，仅供参考，以原文为准。