从交互与解释视角衡量老年人从LLM前到LLM后对话代理过渡中的“成功”

面向老年人的对话式智能体（conversational agents, CAs）至少经历了两个截然不同的时代，其分水岭是 2022 年底大语言模型（large language models, LLMs）的出现。第一个时代以初代 Google Home 和 Amazon Alexa 等商用智能音箱为代表，建立在僵化的、基于规则的对话之上。交互是单轮的、由用户发起的，并且当且仅当一条命令匹配有限集合中某个预置模板意图时，才算“成功”。当前时代则以由 LLM 驱动的系统为标志，这类系统能够进行开放式、多轮对话，具备个性化能力，并为更主动的交互奠定了基础。这一转变不仅改变了 CAs 能为用户做什么，也改变了研究者在理解用户与 CAs 交互“成功”时可以测量的内容。在本案例研究中，我们回顾了跨越 8 年多、涉及多个实地站点 100 多名参与者的研究，以追溯我们自己对“成功”的工作定义是如何演变的。我们反思了两项已完成的、针对 LLM 之前 CAs 的研究工作，以及一项正在进行的、针对 LLM 之后 CA 的研究。我们讨论了在这一转变过程中，我们对成功的定义与测量是如何演变的，也就如何在 LLM 之后的 CA 时代最优地测量“成功”向学界提出了开放性问题。这项研究高度应用化，并受制于真实世界部署的种种混乱。我们预期的贡献是刻意务实的，即方法学考量与反思性问题的结合，以支持投身于这一新技术浪潮的研究者。

中文由 AI 翻译，仅供参考，以原文为准。