基于丰富自我报告的AI模拟提高准确性并减少失真
AI Simulations Grounded in Rich Self-Reports Increase Accuracy and Reduce Distortion
预印本 · 尚未经过同行评审
对1,052名美国成年人用访谈与问卷自我报告构建AI模拟,GSS题目准确率达72.8%,缩小了多项统计失真。
基于人口学提示构建的人物 AI 模拟常常会误判个体,并扭曲样本层面的模式。我们检验了丰富的自我报告数据能否减少这些问题。我们开发了一款 AI 语音访谈员,并按照 American Voices Project 的规程对 1,052 名美国成年人进行了两小时访谈,这些参与者还完成了问卷调查和行为实验。对于每位参与者,我们比较了分别以人口学属性、自撰人格描述、问卷回答、访谈回答或问卷与访谈结合作为提示的模拟。我们在留出回答上评估了准确性,并在样本层面测量了八种统计扭曲:均值偏差、方差压缩、回答分布扭曲、题目间过度相关、态度坍缩到单一维度、意识形态分选、实验效应放大,以及超理性。在 General Social Survey(GSS)题目上,人口学模拟的准确率为 60.4%,而访谈模拟和问卷模拟分别达到 69.4% 和 69.3%,两者结合达到 72.8%,相比之下参与者两周重测一致性为 79.5%。问卷和访谈也改善了对人格特质的预测,但未能改善对激励性经济选择的预测。访谈与问卷结合的模拟弥合了人口学模拟与参与者回答之间八种扭曲差距的中位数 53.5%。一个在其他参与者的自我报告和对目标问题的回答上微调的开源权重模型达到了 75.2% 的 GSS 准确率,并弥合了中位数 69.3% 的扭曲差距。总体而言,前沿模型和微调模型都减少了扭曲,但并未消除扭曲,且两者都未能减少经济博弈中的超理性。这些发现表明,定性和定量自我报告可以改善个体特异的模拟并减少统计扭曲。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org