启发式、人类敏感与自我博弈DRL策略在人机团队中的比较
A Comparison of Heuristic, Human-Sensitive, and Self-Play DRL Policies in Human-Agent Teaming
预印本 · 尚未经过同行评审
在第一人称放牧任务中,启发式智能体最接近人类协同模式,自我博弈DRL偏离最大。
动态知觉-运动基元(Dynamical Perceptual-Motor Primitives, DPMPs)为在人工代理(artificial agents, AAs)中生成类人运动动力学提供了一个可处理的框架,并已被用于支持人-AI 团队任务中的协调。传统上,DPMP 控制器依赖源自人类行为的启发式(基于规则的)决策策略来指导目标选择和动作序列。尽管在结构化任务中有效,但此类启发式策略难以泛化到更复杂的场景,这激发了对深度强化学习(DRL)方法的兴趣,以学习人-AI 交互的决策策略。然而,一个关键挑战是确保 DRL 策略与人类策略保持一致,尤其是当代理通过自我对弈进行训练时。为考察这一问题,我们在第一人称放牧任务中比较了三种控制基于 DPMP 的 AA 的目标选择策略:(1)源自人类的启发式策略,(2)自我对弈 DRL 策略(SP-DRL),以及(3)与启发式代理一同训练的人类敏感 DRL 策略(HS-DRL)。结果表明,启发式代理最接近典型的人-人协调模式,其次是 HS-DRL 代理,而 SP-DRL 代理偏离最大。这些发现凸显了在开发基于 DRL 的队友时采用人类知情训练的重要性,并表明简单的启发式策略可能仍是设计能够进行人-AI 协作的、与人类对齐的 AA 的有效方法。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org