生成式AI的随机动力学：从自回归模型到交互LLM网络与神经SDE

本文从随机动力系统的视角，研究了三类生成式人工智能模型。首先，我们将大语言模型（LLMs）表述为具有基于注意力依赖关系的高维非线性自回归模型。这一表述将基于条件极大似然的预训练与序列化的词元生成联系起来，并为大语言模型的运行提供了概率解释。其次，我们考虑相互作用的 LLM 网络，并通过平均场常微分方程刻画其集体行为。这些动力学为理解涌现出的优先连接和持续存在的结构性偏差（包括类型依赖的天花板效应）提供了框架。第三，我们将神经随机微分方程（SDEs）视为随机轨迹（包括在不规则时间间隔上观测到的轨迹）的连续时间生成模型。我们讨论了它们的训练，特别强调基于粗糙路径分析的 Wiener 空间 cubature 方法，作为蒙特卡洛估计的一种高效替代方案。这三种设定共同涵盖了概率预测、相互作用网络中的信息交换与涌现行为，以及路径空间生成建模。

中文由 AI 翻译，仅供参考，以原文为准。