使用强化学习自学行走的机器人

加州大学伯克利分校的一组研究人员制造了一个两足机器人，该机器人能够使用强化学习自学走路。该团队撰写了一篇描述他们工作的论文，并将其上传到了 arXiv 预印本服务器。

这项工作涉及构建一个机器人，该机器人由一对连接在一起并连接到一个小型支撑框架的腿组成。目前，机器人执行与框架相连的任务，由其中一名研究人员指导。与其他机器人相比，例如波士顿动力公司制造的几款机器人，这款机器人看起来很原始。但是这个被团队命名为 Cassie 的机器人代表了一种新技术的前沿——机器人自学走路，而不是让它通过直接编程或模仿来学习它。

强化学习是人类表现出来的那种——婴儿通过尝试新的动作来学习走路。他们不会立即了解整个过程，但会记住导致步行的步骤。然后他们在所学知识的基础上，添加更多信息，最终导致直立行走。但他们并不止于此;他们不断学习，并在这样做的过程中变得更好。随着时间的推移，他们学会了新的技巧，比如跑步、跳跃，甚至在人行道上跳跃。

为了帮助机器人学会以同样的方式行走，研究人员从在虚拟世界中模拟机器人开始。在模拟中，机器人接受了描述目标的信息训练，例如直立行走;人工智能引擎可以记住并使用学到的东西。模拟使机器人能够在不损坏实际硬件的情况下学会走路，并加快了整个过程。

一旦模拟中的机器人学会了走路，研究人员就会将它的知识移植给 Cassie，Cassie 用它以类似于蹒跚学步的孩子的方式走路。就像一个蹒跚学步的孩子一样，Cassie 继续学习。她学会了如何在轻微滑倒时不跌倒，或者在被侧推时恢复。当她的两个电机损坏时，她还学会了补偿。研究人员计划继续他们的机器人强化学习工作，看看他们能走多远。

标签：