后见重标记是到达-规避学习所需的一切

离线目标条件强化学习方法在到达-规避任务中已展现出潜力，这类任务要求智能体在到达目标状态的同时避开状态空间中的不良区域。现有方法通常将规避区域信息编码进增广状态空间与代价函数中，这导致在评估时无法灵活、动态地指定新的规避区域信息。它们还严重依赖精心设计的奖励函数与代价函数，限制了向新环境与新规格的可迁移性。我们提出 RADT，一种用于离线、无奖励、目标条件、规避区域条件强化学习的决策 Transformer 方法。RADT 将目标与规避区域直接编码为提示 token，允许在评估时指定任意数量、任意大小的规避区域。仅使用来自随机策略的次优离线轨迹，RADT 便能借助我们新颖的规避区域事后重标记方法，以完全数据驱动的方式学习到达-规避行为，无需奖励/代价监督。我们在 17 个任务、环境与实验设置上，将 RADT 与现有离线目标条件强化学习模型进行基准比较。RADT 能以零样本方式泛化到分布外的规避区域大小与数量，优于需要重新训练的基线方法。在其中一种零样本设置下，RADT 相比最佳重训练基线在归一化代价上取得 35.7% 的改进，同时保持较高的目标到达成功率。我们还将 RADT 应用于生物学中的细胞重编程，展示了其通用性。

中文由 AI 翻译，仅供参考，以原文为准。