麻省理工学院的模拟引擎在无人驾驶汽车真正上路前对其进行了训练

剑桥，群众。 - 马萨诸塞州理工学院的研究人员在这里开发了一个系统，带有无限转向可能性的光电型仿真引擎。它旨在帮助自动驾驶汽车学会在滚动真正的街道之前了解众多更糟糕的情况。

自动车辆的控制系统主要依赖于人类驱动程序的驾驶轨迹的现实世界数据集。根据该数据，控制器可以了解如何在各种情况下模拟安全转向控制。但是，来自危险的“边缘案例”的现实世界数据，如几乎崩溃或被迫离开道路或进入其他车道，幸运的是罕见。

一些被称为“模拟引擎”的计算机程序旨在通过渲染详细的虚拟道路来模拟这些情况，以帮助训练控制器恢复。但是，从模拟中学习到的控制还从未在一辆全尺寸车辆上应用到现实中。

Vista仿真引擎使用小型数据集

麻省理工学院的研究人员用他们的真实感模拟器解决了这个问题，该模拟器被称为自主虚拟图像合成和变换(VISTA）.它只使用一个很小的数据集，由人类在道路上驾驶时捕捉到的数据集，从车辆在现实世界中可能获取的轨迹中合成出几乎无限多的新观点。

控制器奖励它在没有崩溃的情况下行进的距离，因此必须自行学习如何安全地到达目的地。在这样做时，车辆学会安全地浏览它遇到的任何情况，包括在在车道之间旋转或从近碰撞之间恢复后重新进行控制。

在测试中，在VISTA模拟器中经过安全训练的控制器能够安全地部署到一辆全尺寸的无人驾驶汽车上导航穿过前所未见的街道。在模拟各种接近撞车情况的越野方向上，控制器也能够在几秒钟内成功地将汽车恢复到安全的驾驶轨道上。

一种纸描述系统已发布IEEE机器人与自动化通讯并将在5月份即将举行的ICRA会议上提出。

“难以在这些边缘案件中收集数据，即人类在路上没有经历的情况下，”第一作者说亚历山大·阿米尼，博士。学生在计算机科学和人工智能实验室（CSAIL.）.然而，在我们的模拟中，控制系统可以体验这些情况，学习自己以恢复它们，并且在部署到现实世界的车辆上时仍然坚固。“

这项工作是与之合作完成的丰田汽车研究所．在纸上加入amini是雅各布菲利普斯，朱莉娅moseyko和rohan banerjee，所有本科生都在csail和电子工程与计算机科学系．其他的参与者包括Igor Gilitschenski.，博士后;Karaman Sertac是航空航天和航天副教授;和Daniela Rus.，CSAIR主任和安德鲁和埃尔德尔·维泰比电气工程和计算机科学教授。

数据驱动模拟

从历史上看，建造模拟用于训练和测试自动驾驶汽车的发动机在很大程度上一直是人工任务。公司和大学经常雇佣艺术家和工程师团队来描绘虚拟环境，有准确的路标、车道，甚至是详细的树叶。一些发动机还可能结合基于复杂数学模型的汽车与环境相互作用的物理原理。

但由于复杂的真实环境中有很多不同的事情需要考虑，因此实际上不可能将所有内容纳入模拟器。因此，控制器在模拟中学到的是什么之间通常存在不匹配以及它们在现实世界中的运作方式。

相反,麻省理工学院研究人员创建了他们所谓的“数据驱动的”模拟引擎，从真实数据，与道路外观一致的新轨迹以及场景中所有物体的距离和运动。

他们首先收集人类在几条道路上行驶时的视频数据，并将其输入引擎。对于每一帧，引擎将每个像素投射到一种3D点云中。然后，他们在那个世界里放置一个虚拟的交通工具。当车辆发出转向指令时，发动机根据转向曲线和车辆的方向和速度，通过点云合成新的轨迹。

然后，发动机使用该新轨迹来渲染照片拟真的场景。为此，它使用卷积神经网络 - 通常用于图像处理任务 - 估计深度图，其中包含与来自控制器的视点的对象距离有关的信息。然后，将深度图与估计相机在3D场景中的方向的技术相结合。所有这些都有助于从虚拟模拟器内的所有内部定位车辆的位置和相对距离。

基于该信息，它重新定位原始像素，以重新创建来自车辆的新视点的世界3D表示。它还追踪像素的运动，以捕获场景中的汽车和人的运动和其他移动物体。

罗斯说:“这相当于为运载火箭提供了无限种可能的轨迹。”“因为当我们收集物理数据时，我们得到的数据来自汽车将遵循的特定轨迹。但我们可以修改轨迹，以涵盖所有可能的驾驶方式和环境。很强大。”

强化从零开始学习

传统上，研究人员一直在培训自主车辆通过遵循人类定义的驾驶规则或试图模仿人类司机。但研究人员使他们的控制器在“端到端”框架下完全从划痕完全学习，这意味着它只需要输入原始传感器数据 - 例如道路的视觉观察 - 以及从该数据中预测输出的转向命令。

“我们基本上会说，‘这是一个环境。你可以做任何你想做的事。只是不要撞到车辆，并且呆在车道内。”阿米尼说。

这需要“强化学习”，即反复试验机器学习一种在汽车出错时提供反馈信号的技术。在研究人员的模拟引擎中，控制器一开始不知道如何驾驶，不知道车道标记是什么，甚至不知道其他车辆是什么样子，所以它开始执行随机的转向角度。

它仅在崩溃时获得反馈信号。此时，它被传送到了一个新的模拟位置，并且必须执行更好的转向角，以避免再次崩溃。超过10到15个小时的训练，它使用这些稀疏反馈信号来学习在不崩溃的情况下学习更大和更大的距离。

在使用模拟引擎成功行驶了1万公里后，作者将学习的控制器应用到现实世界的全规模自动驾驶汽车上。研究人员表示，这是在模拟中使用端到端强化学习训练的控制器首次成功部署在全规模自动驾驶汽车上。

“对我们来说很令人惊讶。该控制器不仅在以前从未在真正的车上，但它也从未见过道路之前，并且没有关于人类如何开车的先验知识，“Amini说。

迫使控制器在所有类型的驾驶场景中运行，使它能够从迷失方向的位置重新获得控制——比如一半偏离道路或进入另一条车道——并在几秒钟内重新转向正确的车道。

“其他最先进的控制器在那的情况下，所有人都失败了，因为他们从未在训练中看到过这样的数据，”艾米尼说。

接下来，研究人员希望从单个驾驶轨迹中模拟所有类型的道路状况，例如夜晚，以及阳光明媚，天气。他们表示，他们也希望模拟与道路上其他车辆的更复杂的互动。

“如果其他车辆开始移动并跳到车辆前面怎么办?”罗斯说。“这些都是复杂的、真实世界的互动，我们想要开始测试。”