校准不良的人工智能改善人的校准:人工智能辅助决策教育中的对齐问题
Miscalibrated AI improves human calibration: An alignment problem for AI-assisted Decision education
预印本 · 尚未经过同行评审
用好人工智能需要概率思维,而校准是其中难以教授的一环。研究以预注册实验让 300 名新手判断白细胞图像为癌变的概率,在接触一个准确率 94% 的卷积神经网络前后各测一次,模型以原始保守概率、重新校准后的概率和无概率信息的分类预测三种方式呈现。脱离人工智能复测时,只有原始保守呈现改善了被试的校准,方式是减少判断的过度极端,辨别力未见条件特异的提升。
预注册实验让 300 名新手在接触准确率 94% 的卷积神经网络前后判断白细胞图像癌变概率,同一模型以三种概率呈现方式对比。
要善用人工智能(AI),需要概率性思维,而其核心是校准:表达出与自身实际准确率相符的确定性。校准是一种决策技能,但众所周知极难教授。由于AI系统通常会在给出每个预测的同时给出一个概率,观察这些概率可能有助于人类学会做出校准更好的判断。这就是我们所说的AI辅助决策教育的一种形式——用AI来教授决策所需的判断技能——而像这里这样通过观察来学习,是其中最简单的形式之一。在一项预先注册的实验中,新手被试(N = 300)在接触一个高准确率(94%)的卷积神经网络之前和之后,判断白细胞图像为癌性的概率。同一个模型以三种方式呈现,保持准确率不变而改变其表达的确定性:其原始概率,这些概率偏保守,且相对于模型的准确率校准不佳;一个重新校准的版本,对模型校准良好、确定性也相应较高;或是不含任何概率信息的分类预测。之后在没有AI的情况下测试时,只有原始的、保守的呈现方式改善了被试的校准。其改善方式是减少过度极端,而没有出现条件特异的辨别力提升。值得注意的是,教学效果最好的呈现方式,恰恰是对该模型校准不佳的那一种。因此,AI辅助决策教育面临一个对齐问题:最能描述模型的信号,未必是最能支持学习者的信号。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org