精密家用机器人通过真实到模拟到真实进行学习

CSAIL 的研究人员介绍了一种新方法，可以让机器人在扫描的家庭环境模拟中接受训练，为任何人都可以实现定制的家庭自动化铺平了道路。

精密家用机器人通过真实到模拟到真实进行学习

在许多自动化愿望清单中，排在首位的是一项特别耗时的任务：家务。

许多机器人专家的梦想是开发出合适的硬件和软件组合，以便机器能够学习“通用”策略（指导机器人行为的规则和策略），这些策略可以在任何地方、任何条件下发挥作用。但实际上，如果你有一个家用机器人，你可能不太在意它是否能为你的邻居工作。考虑到这一点，麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员决定尝试找到一种解决方案，以便轻松地为非常特定的环境训练强大的机器人策略。

“我们的目标是让机器人在单一环境中，在干扰、干扰、不同的光照条件和物体姿势变化的情况下，都能表现出色，”麻省理工学院 CSAIL 的 Improbable AI 实验室研究助理、最近一篇关于这项工作的论文的主要作者 Marcel Torne Villasevil 说道。 “我们提出了一种利用计算机视觉领域的最新进展动态创建数字孪生的方法。只需使用手机，任何人都可以捕捉现实世界的数字复制品，而且得益于 GPU 并行化，机器人可以在模拟环境中比现实世界更快地进行训练。我们的方法通过利用一些现实世界的演示来启动训练过程，从而消除了对大量奖励工程的需求。”

将机器人带回家

当然，RialTo 比简单地挥动手机（砰！）即可让家用机器人为您服务要复杂一些。首先，使用您的设备通过 NeRFStudio、ARCode 或 Polycam 等工具扫描目标环境。重建场景后，用户可以将其上传到 RialTo 的界面进行详细调整，为机器人添加必要的关节等。

经过改进的场景被导出并带入模拟器。在这里，目标是根据现实世界的动作和观察制定策略，例如从柜台上抓取杯子的策略。这些现实世界的演示在模拟中被复制，为强化学习提供了一些有价值的数据。“这有助于创建一个在模拟和现实世界中都行之有效的强大策略。使用强化学习的增强算法有助于指导这一过程，以确保该策略在模拟器之外应用时有效，”Torne 说。

测试表明，无论是在受控的实验室环境中还是在更难以预测的现实环境中，RialTo 都能为各种任务制定强大的策略，在相同数量的演示下，其表现比模仿学习提高了 67%。这些任务包括打开烤面包机、将书放在书架上、将盘子放在架子上、将杯子放在架子上、打开抽屉和打开橱柜。对于每项任务，研究人员在三个难度不断增加的级别下测试了系统的性能：随机化物体姿势、添加视觉干扰物以及在任务执行过程中施加物理干扰。当与现实世界数据结合时，该系统的表现优于传统的模仿学习方法，尤其是在存在大量视觉干扰或物理干扰的情况下。

“这些实验表明，如果我们关心在某一特定环境中的稳健性，最好的想法是利用数字孪生，而不是试图通过在不同环境中进行大规模数据收集来获得稳健性，”不可思议的人工智能实验室主任、麻省理工学院电气工程与计算机科学 (EECS) 副教授、麻省理工学院 CSAIL 首席研究员、该研究的高级作者 Pulkit Agrawal 说。

至于局限性，RialTo 目前需要三天时间才能完成全面训练。为了加快速度，该团队提到改进底层算法并使用基础模型。模拟训练也有其局限性，目前很难轻松实现模拟到现实的转移并模拟可变形物体或液体。

下一个层次

那么 RialTo 的下一步计划是什么呢？在之前努力的基础上，科学家们正在努力保持对各种干扰的稳健性，同时提高模型对新环境的适应性。“我们的下一步努力是使用预先训练的模型，加速学习过程，最大限度地减少人工输入，并实现更广泛的泛化能力，”Torne 说。

Torne 表示：“我们对我们的‘即时’机器人编程概念非常热衷，机器人可以自主扫描周围环境并学习如何在模拟中解决特定任务。虽然我们目前的方法有局限性——例如需要人类进行一些初始演示，并且需要大量计算时间来训练这些策略（最多三天）——但我们认为这是实现‘即时’机器人学习和部署的重要一步。”“这种方法让我们更接近未来，机器人不需要预先存在的策略来涵盖所有场景。相反，它们可以在没有大量现实世界互动的情况下快速学习新任务。在我看来，与仅仅依赖通用的、包罗万象的策略相比，这一进步可以加速机器人技术的实际应用。”

“为了在现实世界中部署机器人，研究人员传统上依赖于从专家数据中进行模仿学习等方法，但这种方法成本高昂，或者强化学习可能不安全，”华盛顿大学计算机科学博士生 Zoey Chen 表示，他没有参与这篇论文。“RialTo 凭借其新颖的从真实到模拟到真实的管道，直接解决了现实世界 RL [机器人学习] 的安全约束和数据驱动学习方法的有效数据约束。这种新颖的管道不仅可以确保在现实世界部署之前在模拟中进行安全而稳健的训练，还可以显著提高数据收集的效率。RialTo 有潜力显著扩大机器人学习的规模，让机器人能够更有效地适应复杂的现实世界场景。”

“通过为策略学习提供廉价、可能无限的数据，模拟在真实机器人上展现了令人印象深刻的能力，”华盛顿大学计算机科学博士生 Marius Memmel 补充道，他没有参与这项研究。“然而，这些方法仅限于一些特定场景，构建相应的模拟既昂贵又费力。RialTo 提供了一种易于使用的工具，可以在几分钟内而不是几小时内重建真实环境。此外，它在策略学习过程中大量使用收集到的演示，最大限度地减轻了操作员的负担，并缩小了 sim2real 差距。RialTo 展示了对物体姿势和干扰的稳健性，无需大量模拟器构建和数据收集即可展示出令人难以置信的真实世界性能。”

Torne 与资深作者、华盛顿大学助理教授 Abhishek Gupta 和 Agrawal 共同撰写了这篇论文。其他四名 CSAIL 成员也获得了认可：EECS 博士生 Anthony Simeonov SM ’22、研究助理 Zechu Li、本科生 April Chan 和 Tao Chen PhD ’24。Improbable AI Lab 和 WEIRD Lab 成员也在开发该项目的过程中提供了宝贵的反馈和支持。

这项研究得到了索尼研究奖、美国政府和现代汽车公司的部分支持，并得到了华盛顿具身智能和机器人开发实验室 (WEIRD) 的协助。研究人员在本月初的机器人科学与系统 (RSS) 会议上展示了他们的研究成果。