AI 修改与人类撰写的 LinkedIn 帖子的感知信任与透明度
Perceived Trust and Transparency in AI-Altered vs. Human-Written LinkedIn Posts
预印本 · 尚未经过同行评审
在线实验（n=214）发现，AI 修改本身不影响帖子感知信任与透明度，读者识别准确率仅 49%，接近随机。
人们越来越多地自己起草社交媒体帖子，然后让 AI 模型对其进行润色（AI 改写），这是介于完全由人类撰写与完全由 AI 生成内容之间的一种常见但研究不足的中间情形。我们追问这是否会改变读者对帖子可信度与透明度的感知，以及读者究竟能否分辨出来。我们首先分析真实的 ChatGPT 对话（WildChat），以找出人们实际是如何改写社交媒体帖子的，并据此设计贴近现实的改写提示词。随后我们开展了一项预注册的、被试内在线实验（n=214），参与者在不知标签的情况下对人工撰写和 AI 改写的 LinkedIn 风格帖子进行可信度与透明度评分，并另行判断每个帖子是否经过 AI 改写。我们发现，AI 改写本身对感知可信度和感知透明度均无可检测的影响（两个估计值都接近零，且不显著）。与此同时，读者无法可靠地识别出 AI 改写（准确率 49\%，接近随机水平），并在不确定时默认假定为人类撰写。然而，我们的分析显示，透明度与可信度评分在不同具体帖子、不同 AI 模型以及不同改写提示词之间存在显著差异。例如，更详细的提示词会同时提高感知可信度和感知透明度，但也使改写更容易被识别。令人意外的是，对评分影响最大的提示词还要求模型添加一个原帖中不存在的新观点：尽管如此，读者仍将这一由 AI 虚构、无法核实的内容评为更可信、更透明。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org