玩弄食物通过交互式探索学习食物项目表示

为了成功操纵食品，机器人必须了解它们的材料特性。对于机器人系统来说，这项任务既困难又耗时，但人类可以通过视觉或触摸来完成。最近在arXiv.org上的一项研究建议使用来自交互式机器人探索的多模态传感器数据来区分食物之间的特性。

研究人员创建了一个数据集，其中包含通过机器人与食物的交互收集的视觉、音频、本体感受和力数据。将21种不同的食物切成10种不同类型的切片用于收集数据。

然后使用卷积神经网络来学习对食物类型之间的相似性进行编码的食物嵌入。在识别硬度或多汁性等特性时，该系统的性能优于普通的纯视觉和纯音频基线。

机器人食品操作的一个关键挑战是对各种可变形食品的材料特性进行建模。我们建议使用多模式感官方法与食物互动和玩耍，以促进区分不同食物的这些特性的能力。首先，我们使用机械臂和使用ROS同步的传感器阵列来收集由21种具有不同切片和特性的独特食品组成的多样化数据集。之后，我们学习视觉嵌入网络，该网络利用本体感受、音频和视觉数据的组合，使用三重损失公式对食品之间的相似性进行编码。我们的评估表明，通过交互学习的嵌入可以成功提高各种材料和形状分类任务的性能。我们设想这些学习到的嵌入可以用作规划和选择最佳参数的基础，以获得更多的材料感知机器人食物操作技能。此外，我们希望通过与研究界共享这个食物游戏数据集来刺激食物机器人领域的进一步创新。

标签：