Transformer 语言模型揭示失语症亚型与纵向变化的独特模式
Transformer language models reveal distinct patterns in aphasia subtypes and longitudinal change
失语症的语言障碍可能体现在叙事表达的表征变化上。研究用一项干预研究中的叙事语料，基线横断面样本 57 人、纵向随访 47 人共六个时间点，将转录文本输入 GPT-2 取 12 层激活值，发现各层激活值在失语症亚型间均有差异，深层效应更明显，布罗卡失语与命名性、韦尼克失语区分稳定，最后三层随时间显著变化。作者称该结果与临床观察可能一致，属探索性分析。
失语症的语言障碍以多种表征性破坏为特征，这些破坏可能反映在语篇产出中。本研究考察基于 Transformer 的语言模型（尤其是 GPT-2）作为计算框架分析失语症叙事言语变异的能力。作为一项干预研究的一部分，本研究使用了一个纵向数据集，该数据集包含从失语症个体在六个时间点采集的叙事言语样本（N = 47；基线横断面样本 N = 57）。所有转录文本均通过 GPT-2 语言模型处理，以获得 12 个 Transformer 层中每一层的激活值。在每一层均发现失语症亚型之间激活值的统计学显著差异（所有 p < .001），其中效应在较深层最为明显。成对 Tukey HSD 检验揭示了 Broca 失语症与 Anomic 失语症和 Wernicke 失语症之间的一致差异，提示后两者共享激活特征。纵向检验揭示了随时间推移的显著变化，尤其是在最后三层（10–12）。这些发现表明，基于 Transformer 的激活模式反映了失语症语篇中有意义的变异，并可能与临床观察相一致。总体而言，GPT-2 提供了一个可扩展的工具来建模失语症中的表征动态，并可能为失语症语篇中的语言表征提供探索性见解。
中文由 AI 翻译，仅供参考，以原文为准。
来源：Scientific Reports · nature.com