策略决策与奖赏学习中去甲肾上腺素和多巴胺表征的可分离性

在竞争环境中进行适应性决策，需要从即时奖励结果中学习，同时追踪更长时间尺度的信息，以调整行为策略并保持对他人的不可预测性。多巴胺（DA）和去甲肾上腺素（NE）长期以来被认为参与奖励引导的行为，但它们对策略性选择的贡献仍不清楚。我们训练小鼠与一个计算机对手进行零和匹配 pennies 游戏，该对手会利用小鼠选择与奖励历史中的规律性，因此最优表现要求随机选择并与即时奖励解耦。我们结合光纤光度记录、行为与神经建模，以及被试内多任务设计，以确定 NE 和 DA 如何分别对匹配 pennies 游戏中的策略性选择与双臂 bandit（2AB）任务中的奖励引导行为作出贡献。DA 反应主要由逐试次的奖励结果主导，并在不同任务和行为状态下一致地追踪模型推导的奖励预测误差（RPE）。相比之下，NE 活动反映显著的 task 事件，预测即将到来的选择切换，并追踪更长时间尺度的变量，包括模型推断的行为策略和平均奖励率。此外，当奖励后的切换结果对决定是留在当前策略还是切换策略具有信息价值时，NE 反应会选择性地增强；而这种增强无法由 RPE 解释。将选择前的 NE 活动纳入强化学习模型以调节选择生成，改善了匹配 pennies 中的模型预测，但在 2AB 任务中没有改善。总之，这些发现揭示了跨时间尺度的竞争性决策的互补神经调质相关物：DA 主要通过 RPE 引导从即时结果中学习，而 NE 还表征了与塑造长期策略相关的背景信息和选择随机性。

中文由 AI 翻译，仅供参考，以原文为准。