跳到正文
原文
bioRxiv · Neuroscience· Ip, E. Y. J., Igoe 等 8 人
AI 评分56

迈向一个分析框架:考察社会语境对言语知觉的神经生理影响

Towards an analytical framework for investigating the neurophysiological influence of social context in speech perception

预印本 · 尚未经过同行评审

AI 导读

日常言语交流中社会信息的作用难以在自然语音知觉中单独分离。作者提出一个分析框架,把在会话语言上微调的大语言模型 Mistral-Instruct 与时间响应函数结合,在生成词汇预期时区分局部语境与说话者特定的社会语境,从而对同一语音材料在说话者语境匹配或不匹配下分别生成预测。结果显示,来自社会语境一致的词汇预期对脑电的预测有小幅但稳定的改善,而声学输入与神经记录完全相同。作者称这是用大语言模型导出的词汇预期分离社会语境影响的概念验证,材料仅为摘要。

摘要 · AI 翻译

社会信息在日常言语交流中起着重要作用,然而现有的神经生理学方法在自然言语感知过程中分离其贡献的手段有限。在此,我们提出一个分析框架,将基于对话语言微调的大语言模型(LLM)Mistral-Instruct 与时间响应函数(TRF)相结合,以研究社会语境对词汇层面言语加工的影响。该框架在生成基于 LLM 的词汇预期指标时,将局部语境(LC)与说话者特定的社会语境(SC)分离开来,使得针对同一言语材料,既可在匹配的说话者语境下、也可在不匹配的说话者语境下生成此类预测。这为分离社会信息对词汇预期的贡献提供了直接途径。我们首先通过询问 Mistral-Instruct 表明,与说话者相关的社会语境携带了关于言语语域和会话角色的信息,而这些信息超出了仅凭先前局部语境所能获得的范围。随后我们证明,相对于从不一致的社会语境中生成的预期,从社会一致语境中生成的词汇预期在 EEG 预测上产生了虽小但可靠的改善。这些效应是在声学输入和神经记录完全相同的情况下观察到的,表明社会语境对词汇预期的影响解释了言语神经反应中可分离的方差。总之,这些发现为使用基于 LLM 的词汇预期来分离和测量社会语境对言语加工的影响提供了概念验证。更广泛地说,所提出的框架提供了一种灵活的方法,用于生成和检验关于不同形式的语境知识如何在自然语言理解过程中塑造神经反应的假设。

中文由 AI 翻译,仅供参考,以原文为准。

来源:bioRxiv · Neuroscience · biorxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。