跳到正文
原文
arXiv · Human-Computer Interaction· Qile Wang, Abhishek Karwankar, Shukria Muhammadi 等 8 人
· 3 天前

支持研究者在AI辅助社交媒体分析中的控制权:AI4OSN的混合方法研究

Supporting Researcher Control in AI-Assisted Social Media Analysis: A Mixed-Methods Study of AI4OSN

预印本 · 尚未经过同行评审

AI 导读

AI4OSN平台让研究者掌控数据收集与标注,18名被试SUS均分79.7,新手更信任AI输出。

摘要 · AI 翻译

高质量标注数据集对于推进计算社会科学(CSS)研究至关重要,然而从在线社交网络(OSNs)等动态来源收集、整理和分析大规模数据仍然是一个长期存在的瓶颈。研究者还必须将实质性问题转化为查询、相关性标准和可辩护的解释。大语言模型(LLMs)可以提供帮助,但它们也可能遮蔽判断,从而可能削弱研究者的监督和批判性评估。我们提出 AI4OSN,一个混合主动式平台,它让研究者始终掌控数据收集、相关性标注和意义建构,同时将 AI 辅助作为可检查的咨询资源提供。在一项使用 X/Twitter 数据的系统性用户研究(N=18)中,参与者报告了高于基准的感知可用性(平均 SUS 得分为 79.7)、对 LLM 辅助标注和分析任务信心的提升,以及在 AI 支持的意义建构过程中较低的认知负荷。值得注意的是,新手参与者在描述性上表现出比有经验参与者更高的一致性,并报告了对 AI 输出的更高认同,这凸显了在不同专业水平之间支持差异化验证实践的必要性。总体而言,这项工作既贡献了一个以人为中心的社会数据分析系统,也提供了关于 AI 辅助界面如何塑造研究者行为、信任和决策的实证洞见。我们的发现凸显了在为社交媒体和网络研究构建可及、透明且具有能动性的 AI 系统时的设计机遇与张力。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。