跳到正文
原文
arXiv · Neural and Evolutionary Computing· Blas Eugenio Vicco Zarate, Miguel Hernán Vicco
· 4 天前

用物理索引专家记忆缓解灾难性遗忘:进化神经可塑性智能体

Mitigating Catastrophic Forgetting with Physics-Indexed Specialist Memory: the Evolutionary Neuroplastic Agent

预印本 · 尚未经过同行评审

AI 导读

进化神经可塑性智能体按检测到的动态环境归档并检索专家策略,在CartPole五环境平均成功率达83.2%。

摘要 · AI 翻译

持续强化学习需要在适应变化条件的同时,保持在先前所遇动态下的性能。研究考察了由进化搜索产生的专家策略在与环境检测和失败驱动搜索相结合时,能否提供可复用的记忆。进化神经可塑性智能体(Evolutionary Neuroplastic Agent, ENA)在不使用梯度的情况下进化小型神经网络,按检测到的动态机制对选定的策略进行归档,并通过贝叶斯策略复用将其检索出来。该架构在非平稳的 CartPole 和 HalfCheetah 环境中进行了评估。在 30 次重复的 CartPole 消融实验中,完整架构在五个测试环境中的平均成功率为 83.2%。在学习了较难 CartPole 环境的变体中,完整架构表现出最一致的保持性。一项选择消融实验还表明,检索规则会影响性能。在所评估的序列中,ENA 在 CartPole 上比 PPO 适应得更慢,在 HalfCheetah 上获得的回报低于 SAC。这些证据针对的是完整架构,并未将无梯度优化单独确定为保持性的原因,也未确立其优于其他持续学习方法的地位。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。