arXiv · Human-Computer Interaction· Michelle Vaccaro, Abdullah Almaatouq, Thomas W. Malone
· 4 小时前
AutoAnalysis:一个自动化、自我更新的人机协作元分析
AutoAnalysis: An automated, self-updating meta-analysis of human-AI collaboration
预印本 · 尚未经过同行评审
AI 导读
AutoAnalysis 自动元分析 420 篇论文的 1,955 个效应量,发现人机组合平均优于人类单独,但劣于人类或 AI 中较优者。
摘要 · AI 翻译
随着生成式人工智能(AI)能力不断增强且应用日益广泛,理解人类应在何时以及如何与这些系统协作正变得愈发重要。然而,这一领域的实证证据给出了相互矛盾的建议,使个人和组织对于何时应结合人类与AI能力缺乏明确指引。现有的元分析有助于调和这些发现,但它们需要大量人工投入,且无法随时纳入新出现的证据。为应对这一挑战,我们推出 AutoAnalysis:一项自动化、自我更新的元分析,考察人类与AI何时协作更佳、何时单独工作更佳。AutoAnalysis 最近一次运行综合了来自 420 篇论文的 1,955 个效应量。在这一整体研究中,我们发现,平均而言,人机组合的表现显著优于单独的人类,但显著劣于人类或AI单独表现中较好的那一方。这些发现凸显了提升人类表现与实现人机协同之间的重要区别,并强调需要同时对照人类单独表现和AI单独表现来评估协作。随着新研究的出现,AutoAnalysis 将把其发现纳入元分析,提供关于人类与AI何时协作表现更佳、以及人机表现如何随AI代理、任务和过程而变化的累积证据。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org