注意差距（MTG-AD）：端到端内联音频描述的数据集与细粒度评估

音频描述（AD）对于让视觉媒体对盲人和低视力（BLV）用户可访问至关重要。虽然多模态大语言模型（MLLMs）为按需生成音频描述提供了可扩展的解决方案，但它们在“内联”音频描述——必须适配视频中现有静音时段——上的表现仍未被充分探索，尤其是对于多样化的用户生成内容（UGC）。我们对 MLLM 生成的内联音频描述进行了全面研究。首先，我们推出 MTG-AD，这是一个经过专业标注的数据集，包含 36 小时的视频，每个视频平均约 5 分钟，总计 8k+ 条描述，由盲人和视力正常的 AD 专业人员配对共同创建，为该任务提供高质量的基准。其次，我们提出 MTG-AD-Eval，一个基于音频描述专家指南的评估框架，提供细粒度、无参考、可操作的指标以促进模型改进。关键在于，我们的框架评估端到端任务：它将生成的脚本渲染为音轨，以评估其在原始视频自然静音时段内的适配程度，最大限度地减少干扰性重叠。我们对前沿 MLLM 的分析表明，虽然模型能准确描述视觉事件并大幅减少语音重叠，但在叙事节奏和流畅性方面仍存在差距。最后，我们通过实证验证，我们的自动化无参考指标与视力正常评分者以及 7 名 BLV 参与者的人类质量评分显著相关，发现虽然用户略微偏好人类撰写的音频描述，但他们认为 MLLM 生成的音频描述对理解非常有帮助。我们提供了可操作的系统设计指导，并在 https://hf.co/datasets/google/mind-the-gap-inline-ad 发布 MTG-AD，在 https://github.com/google/mtg-ad 发布 MTG-AD-Eval。

中文由 AI 翻译，仅供参考，以原文为准。