小鼠视觉决策中的试次历史与模型推导的奖赏预测误差
Trial history and model-derived reward prediction errors in mousevisual decisions
预印本 · 尚未经过同行评审
从动物行为估计的奖赏预测误差能预测下一次选择,但其中一部分信息可能来自更早试次的历史。研究分析 107 只小鼠完成国际脑实验室视觉决策任务的 275,292 个试次,在未用于拟合的测试数据上比较主要选择模型,发现近期选择对预测的改善最强,基于刺激依赖奖赏预期的预测误差只带来小幅增益,纳入前一试次刺激后增益接近零。作者据此指出,仅凭选择预测难以揭示预测误差学习。
分析国际脑实验室视觉决策任务中 107 只小鼠的 275,292 个试次,在未参与拟合的测试数据上比较试次历史与模型推导的奖赏预测误差对下一次选择的预测增益。
从动物行为估计得到的奖赏预测误差(RPE)可以预测其下一次选择。这种预测价值的一部分可能来自关于更早试次的信息,而选择模型也可以直接利用这些信息。我们考察了模型推导的 RPE 是否能在可观测的刺激、选择和奖赏历史之外改善选择预测。我们分析了 107 只小鼠执行 International Brain Laboratory 视觉决策任务的 275,292 个试次,并在未用于拟合的会话上评估了主要的选择模型。近期选择强烈改善了预测。基于刺激依赖的奖赏期望的 RPE 在先前选择和奖赏之外带来了小幅增益,而一旦模型纳入先前的刺激,这一增益便降至接近零。当模型还在若干更早试次上汇总了选择和奖赏时,与历史痕迹具有相同保持参数的 RPE 痕迹并不能可靠地改善预测。在具有已知决策规则的模拟智能体中,这一比较的简化版本检测到了一种基于 RPE 的学习规则,其中选择依赖于累积的预测误差,而对于直接利用试次历史的智能体,该比较并未改善预测。在小鼠中,状态依赖的 RPE 及其痕迹在可观测的试次历史之外几乎未增加预测信息,这限制了仅凭选择预测所能揭示的关于预测误差学习的信息。
中文由 AI 翻译,仅供参考,以原文为准。
来源:bioRxiv · Neuroscience · biorxiv.org