用眼动追踪评估AI生成视频的视觉真实感

迄今为止，对 AI 生成视频的人类评估一直依赖于显式的人类反馈，例如判断或评分。虽然这些信号捕捉到了观看者得出的结论，却无法揭示导致这些结论的感知过程。本文研究眼动追踪作为一种补充性的人类评估信号，用于评估 AI 生成视频。我们针对最新生成模型生成的视频开展了两次视觉图灵测试（VTT）实验，共有 90 名参与者参加，参与者观看每个视频两次后给出反馈。在两次实验中，我们在 438 个视频上收集了 4,286 次有效的眼动追踪试次。我们的分析表明，注视模式提供了与显式人类反馈相一致的信息性评估信号。基于这些发现，我们提出了首个计算方法 GazeEval，从眼动追踪数据预测 AI 生成视频的感知视觉真实感。该方法在预测中达到 71.3% 的准确率，为眼动追踪数据携带有关人们如何评估视频的信息性信号提供了证据。我们公开研究数据，以支持关于眼动追踪用于评估 AI 生成视频的进一步研究。

中文由 AI 翻译，仅供参考，以原文为准。