从运动控制到模拟人形足球中的团队合作

本新闻或文章面向在该领域具有一定科学或专业知识的读者。如果你想拥有一支机器人足球队，你需要先模拟它。足球对机器人社区来说是一个巨大的挑战。这个游戏需要不同抽象层次的决策：从快速控制人体到团队得分。DeepMind 最近的一篇论文提出了一个模拟足球环境，重点是运动协调问题。

它包含在真实模拟的物理环境中移动的全关节型人形足球运动员团队。训练框架由三个阶段的过程组成，在此过程中，学习从低级运动的模仿学习到完整游戏的多智能体强化学习。

这项研究表明，人工智能可以学习协调复杂的运动，以便与物体交互并与他人合作实现长期目标。该模型的基本原则适用于其他领域，包括其他团队运动或协作工作场景。

物理世界中的智能行为在多个空间和时间尺度上表现出结构。尽管运动最终是在瞬时肌肉张力或关节扭矩的水平上执行的，但必须选择它们来服务于在更长的时间尺度上定义的目标，并且涉及远远超出身体本身的关系，最终涉及与其他代理的协调。人工智能的最新研究表明，基于学习的方法有望解决复杂运动、长期规划和多智能体协调等各个问题。然而，针对它们整合的研究有限。我们通过训练物理模拟人形化身团队在真实的虚拟环境中踢足球来研究这个问题。我们开发了一种结合模仿学习的方法，单智能体和多智能体强化学习和基于群体的训练，并利用可迁移的行为表示在不同抽象层次上进行决策。在一系列阶段中，玩家首先学会控制一个完全铰接的身体来执行逼真的、类似人类的动作，例如跑步和转身;然后他们获得了中等水平的足球技能，如运球和投篮;最后，他们培养了对他人的认识并作为一个团队进行比赛，弥合了毫秒级的低级运动控制与几十秒级的团队协调目标导向行为之间的差距。我们研究了不同抽象层次上行为的出现，以及使用多种分析技术作为这些行为背后的表征，包括来自真实世界体育分析的统计数据。我们的工作构成了在物理体现的多智能体环境中多尺度综合决策的完整演示。见项目视频https://youtu.be/KHMwq9pv7mg。

标签：