研究人员发布用于自动驾驶的开源逼真模拟器

超现实的虚拟世界被誉为自动驾驶汽车(AV)的最佳驾驶学校，因为它们已被证明是安全地尝试危险驾驶场景的卓有成效的测试平台。特斯拉、Waymo和其他自动驾驶公司都严重依赖数据来启用昂贵且专有的逼真模拟器，因为测试和收集细微的几乎崩溃的数据通常不是最容易或最理想的重建方式。

为此，麻省理工学院计算机科学与人工智能实验室(CSAIL)的科学家创建了“VISTA2.0”，这是一种数据驱动的模拟引擎，车辆可以在其中学习在现实世界中驾驶并从接近碰撞的场景中恢复。更重要的是，所有代码都向公众开放源代码。

“如今，只有公司拥有类似于VISTA2.0的仿真环境类型和功能的软件，并且该软件是专有的。通过此版本，研究界将获得一个强大的新工具，以加速自适应鲁棒控制的研发用于自动驾驶，”麻省理工学院教授兼CSAIL主任DanielaRus说，他是有关该研究的论文的资深作者。

VISTA2.0建立在团队之前的模型VISTA的基础上，它与现有的AV模拟器有着根本的不同，因为它是数据驱动的——这意味着它是根据真实世界的数据构建和逼真渲染的——从而可以直接转移到现实中。虽然最初的迭代仅支持使用一个摄像头传感器进行单车道跟踪，但实现高保真数据驱动模拟需要重新思考如何合成不同传感器和行为交互的基础。

进入VISTA2.0：一个数据驱动的系统，可以模拟复杂的传感器类型和大规模交互场景和交叉路口。使用比以前的模型少得多的数据，该团队能够训练自动驾驶汽车，这可能比那些在大量真实世界数据上训练的自动驾驶汽车更加强大。

CSAIL博士AlexanderAmini说：“这是自动驾驶汽车数据驱动仿真能力的巨大飞跃，以及处理更大驾驶复杂性的规模和能力的提高。”学生和两篇新论文的共同主要作者，以及博士研究员。学生王俊轩。“VISTA2.0展示了模拟传感器数据的能力，远远超出了2DRGB摄像头，还展示了具有数百万点的超高维3D激光雷达、基于事件的不规则定时摄像头，甚至还可以与其他车辆进行交互和动态场景。”

该团队能够扩展交互式驾驶任务的复杂性，例如超车、跟随和谈判，包括高度逼真的环境中的多智能体场景。

为自动驾驶汽车训练AI模型涉及难以保护的各种边缘情况和奇怪、危险的场景，因为我们的大部分数据(谢天谢地)只是普通的日常驾驶。从逻辑上讲，我们不能仅仅为了教神经网络如何不撞到其他汽车而撞上其他汽车。

最近，人们已经从更经典的、人工设计的模拟环境转向基于真实世界数据的模拟环境。后者具有巨大的真实感，但前者可以轻松模拟虚拟相机和激光雷达。随着这种范式转变，一个关键问题出现了：自动驾驶汽车所需的所有传感器的丰富性和复杂性，例如更稀疏的激光雷达和基于事件的摄像头，能否准确合成?

在数据驱动的世界中，激光雷达传感器数据更难解释——您实际上是在尝试仅从稀疏的世界视图中生成具有数百万点的全新3D点云。为了合成3D激光雷达点云，该团队使用汽车收集的数据，将其投影到来自激光雷达数据的3D空间中，然后让一辆新的虚拟车辆在原车所在的地方行驶。最后，他们在神经网络的帮助下，将所有感官信息投射回这个新虚拟车辆的视野中。

与以每秒超过数千个事件的速度运行的基于事件的摄像机的模拟一起，该模拟器不仅能够模拟这种多模态信息，而且能够实时完成所有这些，从而可以训练神经网络离线，还可以在增强现实设置中在汽车上进行在线测试，以进行安全评估。“在数据驱动的模拟领域，这种复杂程度和逼真度的多传感器模拟是否可能是一个悬而未决的问题，”Amini说。

这样，驾校就变成了聚会。在模拟中，您可以四处走动，拥有不同类型的控制器，模拟不同类型的事件，创建交互式场景，并且只需放入原始数据中没有的全新车辆。他们测试了车道跟随、车道转弯、汽车跟随以及更多冒险场景，如静态和动态超车(看到障碍物并四处移动，以免发生碰撞)。借助多代理，真实代理和模拟代理都可以交互，并且可以将新代理放入场景并以任何方式进行控制。

将他们的全尺寸汽车带到“野外”——又名马萨诸塞州德文斯——团队看到了结果的直接可转移性，有失败也有成功。他们还能够展示自动驾驶汽车模型的大胆而神奇的词：“稳健”。他们表明，完全在VISTA2.0中训练的AV在现实世界中非常强大，以至于它们可以处理那些难以捉摸的具有挑战性的失败的尾巴。

现在，人类依赖的一个尚无法模拟的护栏是人类情感。这是确认的友好挥手、点头或眨眼开关，这是团队希望在未来工作中实现的细微差别类型。

“这项研究的核心算法是我们如何获取数据集并为学习和自主构建一个完全合成的世界，”Amini说。“这是一个平台，我相信有一天可以在机器人技术的许多不同轴上扩展。不仅是自动驾驶，还有许多依赖视觉和复杂行为的领域。我们很高兴发布VISTA2.0以帮助社区收集他们的拥有自己的数据集并将其转换为虚拟世界，在那里他们可以直接模拟自己的虚拟自动驾驶汽车，在这些虚拟地形周围行驶，训练自动驾驶汽车在这些世界中，然后可以直接将它们转移到全尺寸、真正的自动驾驶汽车上。”

标签：