arXiv · Human-Computer Interaction· Viet Cuong Nguyen, Fiona Li, Chang Wan 等 7 人
· 22 小时前
从依赖到过度依赖:AI 陪伴中关系风险分类与检测
From Reliance to Overreliance: Taxonomizing and Detecting Relational Risks in AI Companionship
预印本 · 尚未经过同行评审
AI 导读
基于110名成人对话提出关系风险分类法,63.2%非角色扮演对话出现情绪过度依赖行为,10.5%出现关系伤害。
摘要 · AI 翻译
陪伴型 AI 越来越多地被用于情感支持,然而区分有意义的投入与有害的依赖仍然困难。我们提出关系风险分类体系(Taxonomy of Relational Risks, TRR),该体系将用户的情感过度依赖(emotional overreliance, EO)操作化为可观察的对话行为,并单独识别关系性伤害(relational harm, RH)的证据,从而能够实证考察依赖行为何时与不良后果共同出现。利用来自 110 名成年人的自然情境 Character.AI 与 Replika 对话,我们在 63.2% 的非角色扮演对话中发现了与 EO 相关的行为,而可观察的关系性伤害出现在 10.5% 中。尽管 EO 并不必然导致伤害,但反复出现的模式常与有害结果共同出现,提示其作为风险指标的价值。开源大语言模型在至少一种配置下令人满意地检测出 14 种 EO 行为中的 12 种。定性分析揭示了对照护的期待、反复寻求支持、依赖、痛苦以及对个人判断信心的下降。我们主张针对 EO 相关行为的模式与轨迹,采取分级的安全干预措施。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org