跳到正文
原文
arXiv · Human-Computer Interaction· Nina Corvelo Benz, Eleni Straitouri, Manuel Gomez-Rodriguez
· 2 天前AI 评分50

在与人类对齐条件下学习借助AI辅助做决策

Learning to Decide with AI Assistance under Human-Alignment

预印本 · 尚未经过同行评审

AI 导读

AI辅助决策时,决策者往往难以仅凭AI给出的置信度判断何时该信任预测。作者在二元预测与二元决策的情形下,把该问题等价为带完整反馈的双臂在线情境学习问题,推导出期望遗憾的下界,并证明完美对齐时遗憾可降到更低阶。两项人类被试研究的数据显示,理论结果在对齐被破坏时仍较稳健。

摘要 · AI 翻译

人们普遍认为,当 AI 模型通过预测感兴趣的结果来协助高风险领域的决策者时,它们应当传达其预测的置信度。然而,实证证据表明,决策者往往难以仅凭这种传达的置信度来判断何时应当信任某个预测。在此背景下,近期的理论与实证工作表明,AI 辅助决策的效用与 AI 置信度和决策者对自身预测的置信度之间的一致程度呈正相关。关键在于,这些发现尚未阐明这种一致性在多大程度上影响了通过反复交互学习做出最优决策的复杂度。本文中,我们在二元预测与二元决策的典型情形下研究这一问题。我们首先证明该问题等价于一个具有完整反馈的两臂在线情境学习问题,并建立了任何学习器所能达到的期望遗憾的下界 $\Omega (\sqrt{|H| \cdot |B| \cdot T} )$,其中 $H$ 和 $B$ 分别表示人类与 AI 置信度取值的集合。随后我们证明,在 AI 与人类置信度完全一致的情况下,学习器可以达到 $O(\sqrt{|H| \cdot T\log T})$ 的期望遗憾;并且当 $\sqrt{|H|} = O(\log T)$ 且 $B$ 可数时,对 Dvoretzky-Kiefer-Wolfowitz 不等式的非平凡推广可将遗憾界改进为 $O(\sqrt{T\log T})$。综合来看,这些结果揭示了一致性可以降低学习在 AI 辅助下做出决策的复杂度。在两个不同的人类被试研究中——参与者借助 AI 模型完成简单决策任务——基于真实数据的实验表明,我们的理论结果在完全一致性被违反时依然稳健。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。