跳到正文
原文
arXiv · Human-Computer Interaction· Priyanka Sinha, Sugam Pandey
· 2 天前AI 评分42

知道自己知道什么:人-AI 认知系统中审阅者价值的特质理论

Knowing What You Know: A Trait Theory of Reviewer Value in Human-AI Cognitive Systems

预印本 · 尚未经过同行评审

AI 导读

审阅者价值取决于元认知校准而非活动、速度或资历,纯行为画像会颠倒专家与过度自信者的排序。

摘要 · AI 翻译

当一个有能力的模型和一位人类审核员在同一决策上合作时,哪个人类仍然能增加价值?我们认为,这是一个关于单一认知特质的问题,即元认知校准:审核员的行为信心与其判断实际正确性之间的对齐程度。我们发展出一种审核员价值的特质理论,以使其精确化。该理论提出五项主张:价值由校准而非活动量、速度、一致性或任期决定;校准会在行为遥测中留下可观察的痕迹;这些痕迹本身并不具有诊断性,因为一位校准良好的专家那种快速、低修改的特征,与一位自信的新手在结果把关之前无法区分;人类的校准与模型的自我知识是同一构念,因此联合系统应在每个项目上遵从校准更好的那一方;而个体校准只有在单次判断层面之上才可因果识别。我们将每项主张建立在一个AI辅助会计系统为期六个月的生产窗口之上(541621条审核员事件,483名审核员),并发现:一个纯行为式的专长画像会颠倒真实情况,给一个过度自信的群体(5.2%的纠正存活率)打出比真正专家(99.2%)更高的分数;审核员质量在任期上持平,因此该特质并非在工作中习得;而将区分好审核员与差审核员的同一校准逻辑应用于模型,可将92.5%的人类努力集中在真正的错误上。我们最后指出该理论必须尊重的边界:在多数投票聚合下,个体因果价值不可识别。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。