人机认知扩展:研究耦合认知的框架
Human-LLM Cognitive Extension: A Framework for Studying Coupled Cognition
预印本 · 尚未经过同行评审
大语言模型使用研究常报告相互矛盾的认知结果,作者认为部分原因在于研究未明确分析单元。文章基于延展认知与分布式认知,提出人机认知扩展框架,把独立个体、人工代理、人机耦合系统与人机分工后的个体分开考察,并将耦合结构本身纳入实验对象。文中用一个合成诊断实验比较两种信息沟通方式不同的连接配置,说明耦合方式可改变联合解题的组织方式,即使最终结果不变。
近期关于使用大语言模型(LLMs)的研究报告了存在分歧的认知结果,包括辅助表现提升、迁移有限以及无辅助学习受损。在此,我们认为这种表面上的不一致部分源于研究常常评估不同的认知系统,却未明确分析单元。基于延展认知与分布式认知的研究,我们提出人类-LLM认知延展(Human-LLM Cognitive Extension, HLCE)作为一个方法论框架,用于将实验设计、测量与因果推断匹配到四个不同的系统:独立行动的人类、人工代理、人-LLM联合配置,以及分工后的人类。该框架还将耦合架构视为实验对象的一部分。HLCE区分了表现增强、系统层面的互补性、交互后的人类变化,以及构成性认知整合的更强主张。这种区分可以改善对现有证据的解释,并指导人-LLM交互的设计,而无需预先假设这些配置构成延展心智。我们用一个合成诊断实验来说明HLCE的应用,该实验比较了两种在支持信息传达方式上不同的连接配置。该示例凸显了不同的耦合如何塑造联合问题解决的组织方式,即使最终结果保持不变。总体而言,HLCE为设计受控实验和解释不同形式人-LLM认知交互的证据提供了方法论基础。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org