对话式AI中面向个性化关系安全的屏蔽轨迹采样
Shielded Trajectory Sampling for Personalized Relational Safety in Conversational AI
预印本 · 尚未经过同行评审
用条件生成流网络按对用户-AI关系的预期影响选择回复,并施加基于模型的安全约束。
拟人化对话系统可以提供陪伴和情感支持,但重复的、看似无害的互动可能助长过度依赖并减少人际接触。我们将用户与 AI 关系中的安全性表述为一个序贯决策问题,利用对话线索追踪关系,并根据其随时间推移的预期效果来选择回应。一个条件生成流网络从采样的回应计划中学习,以选出能够保留最大估计量的安全且有用后续的回复。基于模型的检查在训练期间筛查计划、在交互期间筛查回应,要求在每个候选用户模型下、独立于所学网络,至少存在一条满足规定安全界限的未来回应策略序列。策略直接根据学习到的第一步概率进行选择,避免在线计划采样。我们在模拟中评估该方法,与反应式防护措施、有无记忆的过滤器以及替代规划器进行比较,并使用精确计算来验证学习到的近似。我们还评估了从 WildChat 中真实用户消息里提取关系线索的效果。据我们所知,这是第一种通过预判对话回复对用户与 AI 关系的影响来选择回复、同时对未来回应序列施加显式基于模型的安全界限的方法。结果表明,该方法与精确规划高度一致,在较长时域下决策成本更低,并且在保护性回应效果较差时改善了安全与效用的权衡。该方法在即时支持与重复互动的长期影响之间取得平衡。源代码可在 https://github.com/benedettapicano/ANTHROPOMORPHIC_SAFETY_TRAJ 获取。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org