分布性强化学习的神经环路实现
The neural circuit implementation of distributional reinforcement learning
预印本 · 尚未经过同行评审
分布性强化学习算法表征未来结果的完整概率分布而非均值,多巴胺神经元和纹状体价值表征中已见相关信号,但其在基底节环路中的组织方式尚不清楚。研究结合纹状体全范围多巴胺轴突光纤记录与Neuropixels对投射定义多巴胺神经元的记录,发现分布性奖赏预测误差优先编码在投射至腹侧纹状体外侧的多巴胺神经元,而奖赏分布信息在腹侧与背侧纹状体之间共享,中脑还存在乐观程度的结构梯度。该预印本尚未经同行评审。
结合纹状体全范围多巴胺轴突光纤记录与Neuropixels对投射定义多巴胺神经元记录,发现分布性奖赏预测误差主要见于投射至腹侧纹状体外侧的多巴胺神经元。
分布式强化学习(RL)算法通过表征未来结果的完整概率分布而非其均值,优于传统强化学习。在多巴胺神经元和纹状体价值表征中已观察到与分布式编码一致的神经特征。然而,分布式强化学习如何在大脑基底神经节的解剖环路组织中实现仍属未知。揭示结果分布的表征如何在不同脑环路中组织,对基础神经科学和临床神经科学均具有广泛意义,可为大脑如何表征不确定性以及这些表征如何塑造风险敏感的学习与决策提供新见解。在此,我们通过将纹状体全范围的多巴胺轴突活动光纤光度记录与来自投射定义的多巴胺神经元的Neuropixels记录相结合,研究了结果分布的表征如何在多巴胺向纹状体的投射中组织。我们发现,分布式奖赏预测误差信号优先编码于投射至外侧腹侧纹状体的多巴胺神经元中,但奖赏分布信息在腹侧与背侧纹状体之间共享。此外,中脑中的乐观性解剖梯度支持分布式强化学习所需的价值预测的多样性。我们的发现通过揭示中脑边缘多巴胺神经元亚群中的分布式预测误差——这些神经元能够训练被认为执行不同类型行为控制的平行纹状体区域——扩展了为基底神经节提出的演员-评论家框架。
中文由 AI 翻译,仅供参考,以原文为准。
来源:bioRxiv · Neuroscience · biorxiv.org