arXiv · Human-Computer Interaction· Juan Gutiérrez, Victor Gutiérrez-García, José Luis Blanco-Murillo
· 22 小时前
AI辅助是保留还是消解分歧?模糊视频标注中预标注的研究
Does AI Assistance Preserve or Collapse Disagreement? A Study of Pre-Annotations in Ambiguous Video Labeling
预印本 · 尚未经过同行评审
AI 导读
18名标注者的试点显示,CLIP预标注使平均标注时间减少23.11%,并提高标注者间一致性。
摘要 · AI 翻译
AI 生成的预标注可以加速视频标注,但也可能将标注者锚定到模型先验上,并压制对多元数据集构建有价值的意见分歧。我们在模糊的时间视频标注中研究这一权衡,标注者在此选择事件边界并分配依赖上下文的标签,如“正常”或“异常”。我们引入一种受控审计协议,将标注成本、共识对齐、标注者间一致性、时间边界变异、语义标签变异、潜在空间标准化和编辑行为分离开来。在一项有 18 名标注者和 180 个标注会话的平衡试点研究中,一个固定的基于 CLIP 的预标注引擎将平均标注时间减少了 23.11%;72% 的标注者在辅助下更快,每位标注者的中位增益为 35%。辅助提高了标注者间一致性和 CLIP 空间标准化,而语义标签熵在总体上仅略有变化。一项六名标注者的人类共识诊断显示各条件间对齐程度相当(两种条件下 AMI $\approx 0.64$),但该诊断包含自身,应被解释为描述性的,而非模型影响不存在的独立证据。总体而言,结果表明在该试点设置中预标注主要充当可编辑的时间脚手架,同时保留了更微妙的语义锚定效应的可能性。我们贡献了一个审计框架和匿名化交互轨迹,用于研究 AI 辅助标注何时保留、重塑或瓦解人类分歧。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org