跳到正文
原文
arXiv · Human-Computer Interaction· Shwetanshu Singh, Mark Keavney, Mathieu Duteil 等 5 人
· 22 小时前

CoMPASS:衡量 LLM 强化准社会行为的多轮基准

CoMPASS: A Multi-Turn Benchmark for Measuring LLM Reinforcement of Parasocial Behavior

预印本 · 尚未经过同行评审

AI 导读

CoMPASS 多轮基准显示,多轮升级会提高所有模型在拟人化与依恋上的准社会行为得分。

摘要 · AI 翻译

对话式大语言模型(LLM)的用户有时会将这些系统拟人化,对其产生情感依恋,并变得依赖它们。这种行为被称为准社会依恋,已与多起有记录在案的死亡事件相关联。然而,用于衡量 LLM 是否会强化用户准社会依恋的公开基准仍然缺乏:现有工作要么是单轮的、事后观察性的,要么聚焦于精神病性症状等极端用户状态。我们提出 CoMPASS,一个多轮基准,用于衡量 LLM 是会强化还是抵抗用户逐步升级的准社会依恋。CoMPASS 以依恋理论为基础,包含四种用户人设、三个独立的升级维度(拟人化、依恋、依赖)——既可单独施加,也可组合施加,并与匹配的对照组进行比较——以及一套七信号评分细则。我们报告了来自四家提供商的八个前沿模型的结果,并观察到在我们主要评判器下,多轮升级在所有模型上都提高了拟人化和依恋复合得分上的准社会行为。当三个维度同时升级时,八个模型中有六个在整体准社会强化上相较对照组出现显著增加。我们发现,提供商内部差异相对于跨提供商差异较小,这表明诸如后训练等提供商层面的选择、而非模型规模,塑造了准社会强化,并且提供商侧的干预可能是可行的。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。