同样的词，不同的判断：偏好如何随模态变化

基于偏好的强化学习（PbRL）是将 AI 系统与人类偏好对齐的主流框架。然而，此类数据的评估协议是为文本设计的，尚未在语音上得到验证。我们呈现了首个基于组内相关系数（ICC）的、受控的跨模态研究，考察人类与合成偏好标注，在 100 条提示上比较对相同语义内容的文本与音频评估。我们表明，在任一模态内达到\textit{良好}一致性（ICC(2,$k$) $\approx$ .80）需要 $\sim$9 名评分者，且两种模态在人们报告偏好的方式上表现出显著差异：音频评分者表现出更窄的决策阈值、更小的长度偏差以及更以用户为导向的评估标准，跨模态一致性接近随机水平。我们证明，合成评分可用于有效预测评分者间一致性，从而作为刺激选择的早期信号和人类标注的代理。总之，这些发现表明，音频偏好数据的评估协议需要针对模态进行专门设计，而非直接从文本迁移。代码、数据和音频语料库见：https://huggingface.co/datasets/sciminds/same-words-different-judgements

中文由 AI 翻译，仅供参考，以原文为准。