arXiv · Human-Computer Interaction· Alexander Loth, Martin Kappes, Marc-Oliver Pahl
· 5 小时前AI 评分46
侵蚀真相默认值：人类在真实环境中对基础模型幻觉与虚假信息的易感性因果分析
Eroding the Truth-Default: A Causal Analysis of Human Susceptibility to Foundation Model Hallucinations and Disinformation in the Wild
预印本 · 尚未经过同行评审
AI 导读
918次评估显示，政治倾向与检测表现相关可忽略，GPT-4输出因流畅性绕过来源监控而难以辨别。
摘要 · AI 翻译
随着基础模型（FMs）接近人类水平的流畅度，区分合成内容与真实内容已成为可信网络智能的一项关键挑战。本文提出 JudgeGPT 与 RogueGPT，一个将“真实性”与“归因”解耦的双轴框架，用以探究人类易受影响的机制。通过分析涵盖五个基础模型（包括 GPT-4 和 Llama-2）的 918 次评估，我们采用结构因果模型（SCMs）作为主要框架，来构建关于检测准确率的可检验因果假设。与党派化的叙事相反，我们发现政治取向与检测表现之间的关联可忽略不计（$r=-0.10$）。相反，“假新闻熟悉度”作为一个候选中介变量浮现出来（$r=0.35$），提示接触假新闻可能对人类辨别者起到对抗性训练的作用。我们识别出一种“流畅度陷阱”，即 GPT-4 的输出（HumanMachineScore: 0.20）绕过了来源监控机制，使其与人类文本难以区分。这些发现表明，“预先驳斥”干预应针对认知来源监控，而非人口学细分，以确保可信的信息生态系统。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org