2月16日机器人操作深度模仿学习中基于记忆的注视预测

深度模仿学习使机器人能够在没有预定义规则的情况下执行操作任务。然而，当前的架构会推断出对当前状态的反应动作，而在现实世界中，机器人可能需要利用内存。

因此，最近发表在 arXiv.org 上的一篇论文提出了一种基于顺序数据的注视控制来实现基于记忆的机器人操作。

当人类回忆起封闭橱柜中物体的位置时，他们首先会注视记住的位置，然后尝试对其进行操作。同样，研究人员表示，基于记忆的凝视生成系统使机器人能够确定正确的位置，这只能从前一个时间步的数据中推断出来。提出了用于注视预测的基于 Transformer 的自注意力架构。

对多对象操作任务的实验表明，Transformer 的自注意力是此类任务的一种很有前途的方法。

深度模仿学习是一种很有前途的方法，在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操纵中的应用仅限于基于当前时间步的状态的反应控制。然而，未来的机器人也将需要利用其在复杂环境中的经验获得的记忆来解决任务(例如，当机器人被要求在架子上找到以前使用过的物体时)。在这种情况下，简单的深度模仿学习可能会因为复杂环境造成的干扰而失败。我们提出，来自顺序视觉输入的凝视预测使机器人能够执行需要记忆的操作任务。所提出的算法使用基于 Transformer 的自注意力架构进行基于序列数据的注视估计来实现记忆。所提出的方法通过需要记忆先前状态的真实机器人多对象操作任务进行了评估。

标签：