arXiv · Human-Computer Interaction· Muhammad Rizky Wellyanto, Hajara-Yasmin Isa, Kexin Xue 等 7 人
· 2 天前
你是谁?个人模仿游戏
Who are you? The Personal Imitation Game
预印本 · 尚未经过同行评审
AI 导读
提出“个人模仿游戏”测试LLM能否模仿特定个体,20人欺骗研究中审讯者区分系统与作者本人仅达随机水平。
摘要 · AI 翻译
大型语言模型(LLM)如今在艾伦·图灵1950年提出的模仿游戏中表现强劲,因此我们提出了一项更难的挑战——个人模仿游戏,它追问的是机器能否在对话中复制某个特定个体,而非泛泛的人类。我们以30名参与者进行测试,建立了人类基线,并报告了审问者所依赖的身份信号:文体计量特征、人格特质和生平事实。为演示该框架,我们设计了一个基于LLM的系统,让它为论文作者之一进行游戏,所依据的是一个横跨十年个人数字通信的自我民族志数据集。在一项20人的欺骗研究中,审问者在10轮中有7轮选择我们的系统而非作者本人的朋友,在20轮中有13轮选择作者而非我们的系统;在此样本量下,两个比例均与随机水平无法区分。我们讨论了设计改进、个人AI代理的应用,以及对身份与隐私的启示。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org