VREgo：用消费级 VR 头显从自我中心演示中学习机器人操作

VREgo 从在消费级 VR 头显上录制的演示中训练操作策略；我们在这样一款头显 PICO 4 Ultra 上用 EgoKit 实例化它。设备端的头部与手部追踪以及立体物体定位使操作者能够在桌旁开始演示。我们调整 HumanEgo 的预处理，以估计每次录制的抓取阈值、在释放后更新物体位置，并在关键帧之间传播分割掩码。我们在仿真中评估由一名操作者录制的两项桌面任务上的策略。对于立方体放置，我们比较了相同 41 种布局的 PICO 与 Project Aria 录制。使用 40 条训练演示，PICO 策略在三个训练种子下分别于 100 个评估布局中的 67、74 和 60 个中将立方体放置到托盘上。相应的 Aria 结果为 73、78 和 0。对于仅用 PICO 录制的两阶段堆叠任务，基线在 100 个布局中的 94 个中将方块放置到托盘上，并在两个布局中满足两次放置的回合结束标准。在一个诊断回合中，反复重新规划将释放推迟到已执行的八步之后。演示回放还显示，张开的手爪可能在抓取立方体之前将其移位。在调整训练轨迹并添加使用仿真器物体位置的任务特定执行规则后，系统在四个评估噪声种子下的 93.8% 回合中满足了两项放置标准。相同的 100 个布局用于规则开发和评估。VREgo 可在 https://vrego.chuange.org/ 获取。

中文由 AI 翻译，仅供参考，以原文为准。