学习机器人动作和语言描述之间的灵活翻译

语言学习的一个重要组成部分是拥有身体并与环境互动。具身语言学习是一个连接自然语言处理和机器人技术的研究课题。arXiv.org最近的一篇论文解决了机器人动作和语言之间灵活的双向翻译问题。灵活性被定义为在两种模式之间进行转换，而无需为特定任务重新配置模型。

研究人员引入了一种端到端的神经网络架构，可以在推理过程中灵活处理各种动作语言翻译任务，与训练条件保持一致。在现实设置中，类人机器人能够识别和模仿自我执行的动作和对面代理的动作。

结果表明，所提出的方法在语言和动作之间的翻译方面与以前的方法相比具有竞争力。

灵活处理各种机器人动作语言翻译任务是人机自然交互的基本要求。以前的方法需要在推理过程中更改每个任务的模型架构配置，这破坏了多任务学习的前提。在这项工作中，我们提出了配对门控自动编码器(PGAE)，用于在桌面对象操作场景中机器人动作和语言描述之间的灵活转换。我们通过将每个动作与包含通知平移方向的信号的适当描述配对，以端到端的方式训练我们的模型。在推理过程中，我们的模型可以根据给定的语言信号灵活地从动作转换为语言，反之亦然。而且，通过使用预训练语言模型作为语言编码器的选项，我们的模型有可能识别看不见的自然语言输入。我们模型的另一个能力是它可以通过利用机器人演示来识别和模仿另一个代理的动作。实验结果突出了我们方法的灵活双向翻译能力以及泛化到对面代理行为的能力。

标签：