跳到正文
原文
arXiv · Human-Computer Interaction· Adi Krishnamoorthy, X. Y. Han
· 3 天前

想得更久并不带来更好的选择:推理努力提升LLM购物智能体的信心而非正确性

Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents

预印本 · 尚未经过同行评审

AI 导读

十个前沿模型在三个购物基准上增加思考量未提升决策质量,却显著提高自报信心,且多数模型校准不佳。

摘要 · AI 翻译

大型语言模型(LLM)正越来越多地被部署为自主购物代理,它们处理多模态商品列表(由视觉和文本数据组成),并代表消费者推荐购买。人们自然会认为,思考能力更强的模型会做出更高质量的购买决策。为了检验这一信念,我们针对这类代理提出两个问题:要求模型更用力地思考是否会让它选择更好的产品,以及它报告的置信度是否能告诉我们它可能出错的可能性?我们在基于 WebShop、亚马逊的 SQID 和 Wayfair 的 WANDS 平台构建的三个产品选择基准上,对十个前沿模型进行了基准测试,以检验思考能力更强的 LLM 是否真的能做出更高质量的产品购买决策。在这三个基准上,我们发现增加思考投入并不会以统计上显著的方式提高决策质量。同样的思考投入变化却以统计上显著的水平提高了所报告的置信度,因此额外的思考换来的是信心而非正确性。我们还测量了这些模型在这些任务中的校准程度(即它们报告的置信度百分比与其真实正确率百分比匹配得有多好),并表明大多数模型在每一个投入水平上都没有得到良好校准。我们还发现错误具有强烈的共享性:当一个模型在某项任务上出错时,其他几个模型往往也会在同一任务上出错。此外,在多个模型都出错的任务上,其中很大一部分模型会选择同一个错误产品。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。