用认知能力画像评估人工智能对工作任务的适用性

部署 AI 的组织面临一个范围界定问题：哪些任务可以自动化，哪些应保留给人类，哪些最适合由两者共同承担。聚合基准分数几乎无法说明系统在实践中会在哪里成功或失败，而人类对模型能力的判断很快就会过时。我们提出一套流程，使用一组共享的核心认知能力来刻画智能体与任务。认知能力画像根据智能体在基准测试组上的表现推断其能力，该测试组的每个项目都标注了认知需求。任务需求加权则从领域专家处引出这些相同能力对其工作的相对重要性。由于两者使用共同的认知维度集，它们可以随着模型和角色的变化而独立更新，并结合起来在领域、组织、角色或个体职责层面估计 AI 适用性。我们在合成智能体上验证了能力恢复，对六个 AI 系统进行了画像，并从六个职业领域的 410 名员工处引出了任务需求。AI 系统在认知维度上的差异大于在模型家族之间的差异，而工作场所活动则收敛于一个共享的认知核心。由此得到的分数提供了一种比较性范围界定工具，用于识别有前景的试点候选对象以及当前系统不太可能适合的领域。我们讨论了将该框架扩展至对人类工作者与 AI 系统一并画像，从 AI 适用性迈向人机任务分配。

中文由 AI 翻译，仅供参考，以原文为准。