保持长期对齐：通过情境反思与隐私保护行为数据实现纵向人-LLM对齐

当前针对大语言模型（LLM）的人机对齐与评估方法，往往依赖于交互结束后立即收集的偏好信号。这种做法隐含地将偏好视为静态的，然而许多由 LLM 参与促成的决策会随时间展开，并可能在经历现实后果与观察到结果之后被重新以不同方式评价。因此，我们主张进行一次方法论转向：从单一时点的偏好 elicitation 转向纵向的、情境化的对齐测量。我们提出一个方法论框架，通过结合（1）原位偏好捕获、（2）情境触发的后续偏好反思，以及（3）有助于解释偏好变化的隐私保护行为轨迹，来收集具有时间根基的对齐信号。作为该方法论的一个实例，我们介绍 BITE——一个基于浏览器的系统，它检测具有后果的 LLM 交互，在后续决策点提示反思，并支持渐进式、用户可控的行为数据共享同意。通过一项为期两周、有 8 名参与者参与的纵向部署研究，我们的方法揭示了用户在准确性、相关性以及 LLM 输出的其他维度上即时偏好与后续偏好之间的差异。我们的发现凸显了单一时点偏好数据集的局限性，并强调了纵向方法在日常使用中对齐评估的重要性。

中文由 AI 翻译，仅供参考，以原文为准。