SurgCBVR:面向基于内容的手术视频到视频检索的多域基准
SurgCBVR: A Multi-Domain Benchmark for Content-Based Surgical Video-to-Video Retrieval
预印本 · 尚未经过同行评审
SurgCBVR 是首个手术视频到视频检索基准,整合 8 个数据集、679 例、76,489 个片段,现有模型表现接近仅凭时长的基线。
医院每年录制数千小时的手术视频,但这些档案仍难以按内容检索。外科医生无法便捷地调取相似手术、并发症或工作流事件。现有的手术计算机视觉主要生成标签,而非检索相关视频。我们提出 SurgCBVR,这是首个用于手术中基于内容的视频到视频检索的基准。它整合了四个领域(眼科、腹腔镜、机器人辅助和结肠镜)的八个公开数据集,涵盖六种手术类型、679 例病例和 76,489 个片段(106 小时)。SurgCBVR 包含两个层级:Scene,跨病例和站点检索相同的手术状态;Workflow,检索并定位阶段转换和偏差。Scene 包含 74,765 个片段,跨越 40 个类别、三种时间粒度和三种播放速度;Workflow 包含 1,724 个转换片段。固定片段长度和帧数,连同阶段分类器 oracle 和仅时长基线,有助于评估标签和时序捷径。我们评估了六种通用和手术基础模型、两种视频检索方法,以及在 SurgCBVR 上训练的对比头,采用限于同一手术类型的数据集内、跨数据集和合并库检索。冻结表示仅略优于仅时序基线,转换检索接近随机水平,而训练后的头在不同数据集间损失高达一半的准确率。这些发现揭示了当前视频表示的显著局限性,并确立 SurgCBVR 作为推进手术感知检索的基准。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org