当文本沉默时：证据不足下的记忆捷径与 LLM 标注效度

大语言模型（LLM）正越来越多地被用于为社会科学研究、内容审核和训练数据标注文本。它们对现实世界实体的广泛知识引发了一个担忧：在给文本打标签时，它们是依赖文本中的证据，还是用自己已知的信息来替代？我们将这种行为称为记忆捷径，并考察它何时出现、什么会放大它，以及如何缓解它。我们使用995位广为人知的公众人物，并为每位人物匹配四个对照姓名，构建了将文本证据与先验知识分离的反事实文本，并在五个阶段中对三个商用LLM各评估了121,594条提示。我们发现了一种显著的不对称性。尽管所有模型几乎都能识别每一位人物，但当二者冲突时，没有任何模型会遵循记忆而非文本。相反，捷径出现在证据缺失时：对其中一个模型而言，与合成姓名相比，著名姓名使被记住的职业、年龄和国家的比率分别提高了17.0、14.9和6.8个百分点。这些效应仅对可识别的人物出现，且由此产生的标签中有98.6%在关于同名者的事實上是正确的，同时没有一个得到文本的支持。评估威胁和答案依变奖励分别将捷径放大了8.7和12.4个百分点。在两个模型中，著名姓名还将文档稀少的申请人的领导力评分分别提高了0.22和0.28分。同名提醒和姓名遮蔽各自消除了捷径，但在性别标注上存在权衡。因此，LLM标注可以在事实上正确，却在方法论上无效。可信的LLM标注需要开展审计，以检验证据缺失、考虑标注指令中的激励因素，并评估缓解措施的属性特定权衡。

中文由 AI 翻译，仅供参考，以原文为准。