衡量协作，而非智能体

可视化智能体的基准测试只对智能体单独评分；人类只提供参考答案。对于高维数据，这忽略了真正重要的东西：哪些变量重要的知识掌握在现场专家手中，而非模型手中，因此有用的问题是分析师与智能体合作得有多好。我们研究一种特定的协作形式：智能体提出一个视图，分析师接受、拒绝或修改它，这些判断被保留供后续会话使用，并为此提出五项度量：互补性、干预效率、恰当依赖、知识保留和能动性。前四项仅从交互日志计算。我们测试的是度量，不是人：在公共制造数据（UCI SECOM）上的平行坐标设计测试平台中，使用行为受我们控制的模拟分析师，四项度量均可计算，并对受控差异作出响应。它们是否能揭示关于真实分析师的任何信息是下一步；我们为此发布该测试平台。

中文由 AI 翻译，仅供参考，以原文为准。