以严格灵活的方式创建和验证稳定的人工智能控制系统

神经网络对工程师设计机器人控制器的方式产生了巨大影响，催生出更具适应性和效率的机器。然而，这些类似大脑的机器学习系统是一把双刃剑：它们的复杂性使它们变得强大，但也使得很难保证由神经网络驱动的机器人能够安全地完成任务。

以严格灵活的方式创建和验证稳定的人工智能控制系统

验证安全性和稳定性的传统方法是通过称为 Lyapunov 函数的技术。如果你能找到一个 Lyapunov 函数，其值持续下降，那么你就可以知道与较高值相关的不安全或不稳定情况永远不会发生。然而，对于由神经网络控制的机器人，先前验证 Lyapunov 条件的方法无法很好地扩展到复杂的机器。

麻省理工学院计算机科学与人工智能实验室 (CSAIL) 等机构的研究人员现已开发出新技术，可在更复杂的系统中严格验证 Lyapunov 计算。他们的算法可以高效地搜索和验证 Lyapunov 函数，为系统提供稳定性保证。这种方法可能有助于更安全地部署机器人和自动驾驶汽车，包括飞机和航天器。

为了超越以前的算法，研究人员找到了一种训练和验证过程的捷径。他们生成了更便宜的反例——例如，来自传感器的对抗性数据，这些数据可能会让控制器失去控制——然后优化机器人系统以解决这些问题。了解这些极端情况有助于机器学习如何处理具有挑战性的情况，从而使它们能够在比以前更广泛的条件下安全运行。然后，他们开发了一种新颖的验证公式，可以使用可扩展的神经网络验证器 α,β-CROWN 来提供超越反例的严格最坏情况保证。

“我们已经看到了人工智能控制机器（如人形机器人和机器狗）的一些令人印象深刻的经验性能，但这些人工智能控制器缺乏对安全关键系统至关重要的正式保证，”麻省理工学院电气工程和计算机科学 (EECS) 博士生、CSAIL 成员 Lujie Yang 说道，他与丰田研究院研究员 Hongkai Dai SM ’12、PhD ’16 共同撰写了一篇关于该项目的新论文。“我们的工作弥补了神经网络控制器的性能水平与在现实世界中部署更复杂的神经网络控制器所需的安全保障之间的差距，”Yang 指出。

在数字演示中，该团队模拟了配备激光雷达传感器的四旋翼无人机如何在二维环境中保持稳定。他们的算法仅使用激光雷达传感器提供的有限环境信息，就成功地将无人机引导到稳定的悬停位置。在另外两个实验中，他们的方法使两个模拟机器人系统在更广泛的条件下稳定运行：一个倒立摆和一个路径跟踪车。这些实验虽然规模不大，但比神经网络验证社区以前所能做的要复杂得多，尤其是因为它们包含了传感器模型。加州大学圣地亚哥分校

计算机科学与工程副教授 Sicun Gao 表示：“与常见的机器学习问题不同，严格使用神经网络作为 Lyapunov 函数需要解决困难的全局优化问题，因此可扩展性是关键的瓶颈。”他没有参与这项工作。“当前的工作通过开发算法方法做出了重要贡献，这些方法更适合神经网络作为 Lyapunov 函数在控制问题中的特定用途。与现有方法相比，它在可扩展性和解决方案质量方面取得了显著的进步。这项工作为进一步开发神经 Lyapunov 方法的优化算法以及在控制和机器人技术中严格使用深度学习开辟了令人兴奋的方向。”

杨和同事的稳定性方法在保证安全至关重要的领域具有广泛的应用潜力。它可以帮助确保自动驾驶汽车（如飞机和航天器）的平稳行驶。同样，无人机运送物品或绘制不同地形图也可以从这种安全保障中受益。

这里开发的技术非常通用，不仅限于机器人技术；同样的技术将来可能会帮助其他应用，例如生物医学和工业加工。

虽然该技术在可扩展性方面比以前的工作有所升级，但研究人员正在探索如何在更高维度的系统中表现更好。他们还想考虑激光雷达读数以外的数据，例如图像和点云。

作为未来的研究方向，该团队希望为处于不确定环境中且容易受到干扰的系统提供相同的稳定性保证。例如，如果无人机面临强风，杨和她的同事希望确保它仍然能稳定飞行并完成所需的任务。

此外，他们打算将他们的方法应用于优化问题，目标是尽量减少机器人在保持稳定的情况下完成任务所需的时间和距离。他们计划将他们的技术扩展到人形机器人和其他现实世界的机器，在这些机器中，机器人需要在与周围环境接触时保持稳定。

麻省理工学院丰田电气工程、航空航天和机械工程教授、TRI 机器人研究副总裁和 CSAIL 成员 Russ Tedrake 是这项研究的资深作者。该论文还感谢加州大学洛杉矶分校博士生 Zhouxing Shi 和副教授 Cho-Jui Hsieh，以及伊利诺伊大学厄巴纳-香槟分校助理教授 Huan Zhang。他们的工作得到了亚马逊、美国国家科学基金会、海军研究办公室和施密特科学公司的 AI2050 项目的部分支持。研究人员的论文将在 2024 年国际机器学习会议上发表。