局部学习就够了：与大脑对齐的预测编码网络
Local learning is all you need: brain-aligned predictive coding networks
预测编码理论认为大脑通过分层、局部的自监督预测学习形成表征，但此前的预测编码模型在性能和脑对齐上一直落后于深度神经网络。作者提出预测脑网络，一个实现局部预测编码学习的分层循环框架，并在下游分类任务上超过已有预测编码网络，同时复现灵长类皮层中高层预测调节低层视觉反应的标志性现象，还支持不确定性估计。
提出分层循环的预测脑网络，用局部预测编码学习训练，其表征与人类腹侧视觉通路对齐程度达到或超过现有视觉模型。
arXiv:2610.37327v1 公告类型：新摘要：预测编码（Predictive Coding, PC）是一种颇具影响力的理论，用以解释大脑表征如何通过分层、局部、基于自监督预测的学习而产生，而无需全局传播的误差信号。尽管有大量证据支持 PC，一个显著的悖论依然存在：基于这些具有生物学基础的原则构建的计算模型，在性能和大脑对齐方面始终未能达到最先进深度神经网络的水平。在此，我们表明这一悖论可以被克服。我们引入预测脑网络（Predictive Brain Networks, PBNs），这是一个分层循环框架，实现了基于局部 PC 的学习，并在与人类腹侧视觉流的表征对齐上达到或超过现有视觉模型。重要的是，PBN 的自上而下预测编码了自下而上特征提取过程中未被捕获的独特且与大脑对齐的信息，且这一贡献在局部训练的变体中有所增加。此外，PBN 在下游分类任务上大幅优于现有的受 PC 启发的网络，再现了 PC 的关键特征（高层预测塑造低层视觉反应，正如在灵长类皮层中所观察到的），并支持不确定性估计。因此，PBN 通过结合两个此前在很大程度上被分离的特性——预测编码的类脑学习机制与现代深度网络的表征能力——弥合了计算神经科学中长期存在的差距。它们提供了一个可扩展的框架，用于研究具有生物学基础的学习，同时不牺牲产生丰富神经表征的能力。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv q-bio.NC 预印本 · arxiv.org