变换器作为候选的规范皮层微环路

神经科学假设存在一种典型的微环路，在全脑各系统中支撑皮层计算。在人工智能领域，神经网络已成为一种通用的计算基底。在此，我们利用新近可用的大规模数据和映射技术，将神经网络模体与大脑进行比较。我们将一系列候选微环路架构嵌入一个共同的空间宏环路中，测量其与一整套广泛的皮层特征的吻合程度。我们发现，一种特定的环路类型——Transformer——独特地捕捉到了细粒度的单元级环路细节、群体级功能图谱与神经元活动模式，以及系统级的布线效率和行为需求。使 Transformer 得以成功的关键要素是一个习得的乘性组件，它使关系信息无需大量长程布线即可获得。这些结果表明，自然智能与人工智能中的计算模体之间存在惊人的趋同。

中文由 AI 翻译，仅供参考，以原文为准。