在自然语言上训练的神经后继表征中涌现词类与构式样结构

arXiv:2605.24585v4 公告类型：replace-cross 摘要：神经语言模型通常以预测下一个词元的方式进行训练，尽管语言结构跨越多个时间尺度。后继表征（SRs）通过对未来状态的折扣分布进行编码，使这一时间视野变得显式。在此，我们探究这类预测性表征能否从自然语言中不仅恢复词类，还能恢复更精细的功能性结构和类构式结构。一个在 WikiText-103 上训练的残差网络在无词性监督的情况下预测三个时间视野上的 SR 分布。在最短的时间视野上，无监督聚类能够稳健地恢复名词、动词和形容词，而簇间的有向转移再现了熟悉的句法不对称性。在更细的分辨率下以及跨 13 个词性类别，相同的几何结构揭示了跨越类别边界的语义—功能分组，以及刻画候选日期、计量和标题—名称构式的有向关系。随着预测视野的延长，词性一致性下降。这些结果表明，词类是更丰富的预测几何结构中的粗略区域，在这一几何结构中，范畴性语言结构和类构式语言结构从未来词分布中涌现出来。

中文由 AI 翻译，仅供参考，以原文为准。