语言与视觉的类图灵测试显示人类与AI之间的差距正在缩小

研究关注当前语言与视觉模型在多大程度上能模仿人类。作者收集了636名被试和37个AI模型在图像描述、词语联想、对话、颜色估计、物体检测和注意预测六项任务上的36,499条回答，让1,916名人类评判者判断来源，并训练SVM作为AI评判者。人类评判者的整体模仿可检测度在0.53至0.57之间，接近0.5的不可区分水平，而简单SVM评判者在多数任务上优于人类评判者；在线互动版对话测试中人类评判者则达到100%正确率。