“我写了，我停顿了，我重写了”：学习者对过程感知型 LLM 反馈感知的混合方法研究

大语言模型越来越多地提供形成性写作反馈，但大多数系统仅评估提交的文本。过程感知系统还可以纳入中间草稿和交互记录，然而，能否获取这些痕迹并不能确定学习者是否认为所生成的反馈有用、公平，或与其自身的修改体验相符。我们对43名本科英语学习者开展了一项收敛式混合方法任务后评估。参与者完成了一篇限时作文，收到了基于最终作文、中间快照和按键记录生成的LLM反馈，随后回答了六个五点李克特量表和四个开放式问题。六个题项的评分均集中在高于中性中点的位置。74.4%至95.3%的参与者选择了4分或5分，且所有六个单侧精确符号检验在Holm校正后仍显著。修改分析与参与者自述思维过程之间的感知一致性，与总体感知有用性呈正相关，Spearman's $\rho_s=.327$，95% bootstrap CI $[.009,.609]$，$p=.032$，$n=43$。定性回答通过LLM辅助的编码本开发程序进行分析，随后由人工对14个二元编码进行独立编码。参与者经常将产品反馈和修改理由描述为准确，而较少数人报告了对表面性修正、时间限制或修辞意图的误解。这些发现区分了对修改活动的感知检测与对修改发生原因的感知解释。

中文由 AI 翻译，仅供参考，以原文为准。