人工代理如何依据视觉数据做出决策？

视觉语言模型（VLM）在基于视觉数据的推理方面已展现出显著进展，这一点尤为重要，因为人类知识的很大一部分是以视觉形式编码在科学文章及其他来源中的。然而，在理解由 VLM 驱动的人工智能体如何感知视觉数据存在下的不确定性并据此进行决策方面，仍存在空白。本研究通过评估和分析自主决策过程来探讨这一空白。在既有可视化素养与决策理论研究的基础上，我们开展了两项互补研究：一项考察智能体如何感知和量化可视化中编码的不确定性，另一项考察人工智能体如何基于图像形式的视觉数据做出决策。我们分析了各模型和各类可视化类型下的感知准确性与决策表现。结果表明，在受测模型中，GPT-4o 在感知饼图和条形图中的不确定性方面表现出最高的准确率。在决策方面，当不确定性通过圆形图、图标阵列或文本表示时，自主智能体与理性决策理论的一致性最佳。

中文由 AI 翻译，仅供参考，以原文为准。