AbInitio基于粒子的对象操作

以前的机器人操作方法依赖于两种不同的技术。虽然基于模型的方法在分析模型中捕获对象的属性，但数据驱动的方法直接从先前的经验中学习。最近的一项研究提出了 基于粒子的对象操作 (PROMPT)， 它结合了两种方法的优点。

粒子表示由一组 RGB 图像构成。在这里，每个粒子代表对象中的一个点、局部特征以及与其他粒子的关系。对于每个相机视图，粒子都被投影到图像平面中。然后，将重建的粒子集用作对象的近似表示。

基于粒子的动力学模拟可预测操纵动作的效果。实验结果表明，PROMPT 使机器人能够在抓取、推动和放置等各种任务上实现动态操纵。

本文介绍了基于粒子的对象操作(提示)，这是一种从头开始机器人操作新对象的新方法，无需先验对象模型或对大型对象数据集进行预训练。Prompt 的关键元素是基于粒子的对象表示，其中每个粒子表示对象中的一个点，该点的局部几何、物理等特征，以及它与其他粒子的关系。与基于模型的操纵分析方法一样，粒子表示使机器人能够推理物体的几何形状和动力学，以便选择合适的操纵动作。与数据驱动方法一样，粒子表示是从视觉传感器输入中实时在线学习的，特别是多视图 RGB 图像。因此，粒子表示将视觉感知与机器人控制联系起来。Prompt 结合了基于模型的推理和数据驱动学习的优点。我们凭经验证明 Prompt 成功地处理了各种日常物品，其中一些是透明的。它处理各种操作任务，包括抓、推等。我们的实验还表明，即使 Prompt 不使用任何离线训练数据，它在日常物品上的表现也优于最先进的数据驱动抓取方法。

标签： AbInitio