跳到正文
原文
arXiv · Human-Computer Interaction· Trizal Garg, Xuelong Fu, Dhruv Shah 等 9 人
· 3 天前

面向年轻成年照护者的 AI 陪伴:实用建议、情感深度与指标评估的局限

AI Companions for Young Adult Caregivers: Practical Advice, Emotional Depth, and the Limits of Metric Evaluation

预印本 · 尚未经过同行评审

AI 导读

基于 Gemma 3-27B 微调的 Carebot 在 90 名年轻成年照护者中被认为过于实用、缺乏情感支持,与指标评估结果不一致。

摘要 · AI 翻译

年轻成年照护者(YACs)是指年龄在18至25岁之间、目前正在照顾面临慢性疾病的家庭成员、伴侣或朋友的人。专门为YACs设计的AI陪伴工具在以往研究中仍未被充分探索。我们提出了Carebot,它使用开放权重的LLM(Gemma 3-27B)作为基础模型,并在其上比较了微调、检索增强生成(RAG)以及两者的结合。微调基于一个现有的YACs与心理学家对话的数据集进行。三位福祉专家评估了这些配置,并因其回复的温暖度以及针对YACs量身定制的可操作建议而更青睐微调模型。基于他们的选择,我们采用微调模型作为Carebot的最终配置,并将其用于所有后续评估。在85%的评估配对中,一个LLM评判者更偏好该Carebot的回复而非基础模型的回复。随后,我们对90名YACs进行了一项用户研究,其中一半人与基础模型互动,一半人与Carebot互动。用户研究揭示了指标评估与实际用户感知之间的差异。使用Carebot的参与者更倾向于将其回复描述为过于实用和简短,指出它更偏向建议而非情感支持。相反,使用基础模型的参与者表示其回复比实用性更偏向情感导向。尽管微调使Carebot的回复更实用,但它们对用户而言并不具备情感支持性。我们认为,面向YACs的支持工具需要情境敏感的情感深度以及与之匹配的评估框架来研究其有效性。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。