人类能分辨吗？人类对大型语言模型生成新闻的知觉双轴研究
Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News
预印本 · 尚未经过同行评审
研究关注人能否判断一篇新闻由人还是大语言模型撰写。作者用 JudgeGPT 平台在连续量表上分别测量来源归属与真实性判断，收集 1,054 名参与者对六个大语言模型生成内容的 2,318 次判断。结果显示参与者无法可靠区分机器与人类文本，这一结果在各模型上一致；自评领域专长可预测判断准确率，而政治取向不能，连续约 30 次判断后准确率因认知疲劳下降。
人类能否判断一篇新闻文章是由人还是由大语言模型（LLM）撰写的？我们使用 JudgeGPT 研究这一问题，该研究平台以连续量表独立测量来源归因（人类 vs. 机器）与真实性判断（真实 vs. 虚假）。基于 1,054 名参与者对六个 LLM 生成内容所做的 2,318 次判断，我们报告五项发现：（1）参与者无法可靠区分机器生成文本与人类撰写文本（p > .05，Welch's t 检验）；（2）这种无法区分在所有测试模型上均成立，包括参数量低至 7B 的开放权重模型；（3）自我报告的专业领域知识可预测判断准确率（r = .35，p < .001），而政治取向则不能（r = -.10，n.s.）；（4）聚类分析揭示出不同的反应策略（“怀疑者” vs. “相信者”）；（5）在约 30 次连续评估后，准确率因认知疲劳而下降。简而言之，答案是否定的：人类无法可靠判断。这些结果表明，用户侧检测并非可行的防御手段，并推动系统级对策，如加密内容溯源。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org