"你把一辆车放在路上，它可能按照法律条文行驶，但与周围的道路使用者相比，它的行为非常保守。Motional公司的卡尔-伊格尼玛（Karl Iagnemma）说："这可能会导致自动驾驶汽车有点像离水的鱼一样。
自动驾驶汽车的控制系统可以根据人类驾驶轨迹的现实世界数据集，学习如何在各种情况下模拟安全的转向控制。然而，考虑到真实道路上可能出现的无限场景，对决策过程进行编程是非常困难的。同时，关于 "边缘情况"（如差点撞车或被迫离开道路）的真实世界数据也很难得到。
麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员与丰田研究所合作，开发了一个名为 "虚拟图像合成和自主权转换 "（VISTA）的模拟系统，用于在2020年3月训练无人驾驶汽车。
VISTA基本上创造了一个具有无限转向可能性的逼真世界，使汽车能够练习在各种最坏的情况下进行导航。它使用了人类在道路上驾驶所捕获的小型数据集，从现实世界的轨迹中生成了几乎无限多的新观点。控制器因其行驶的距离不发生碰撞而得到奖励，因此它必须学会如何自行安全行驶。因此，车辆学会了在不同的情况下安全行驶，例如在车道之间转向后重新获得控制权，或从近乎碰撞中恢复过来。
数据驱动的模拟如何工作
VISTA首先摄取人类驾驶的视频数据，并将每一帧的每个像素转换为三维点云 。当用户在该世界中放置一个虚拟车辆并让它发出转向指令时，引擎会根据转向曲线和车辆的方向和速度在点云中生成一个新的轨迹。
然后引擎使用这个新的轨迹来渲染一个逼真的场景。它通过估计深度图来做到这一点，深度图包含了使用卷积神经网络从控制器的视角看物体的距离的信息。然后，深度图与一种估计摄像机在三维场景中的方向的技术相结合。所有这些都有助于确定车辆的位置和与虚拟模拟器中一切事物的相对距离。基于这些数据，它重新调整原始像素的方向，从车辆的新视角创建世界的三维表现。它还跟随像素的运动来捕捉场景中汽车、人和其他移动物体的运动。
麻省理工学院的研究人员在模拟成功行驶1万公里后，将学到的控制器部署在现实世界中的全尺寸自主车辆上。据麻省理工学院称，这是第一次使用端到端强化学习在模拟中训练的控制器被成功部署到一个完整的自动驾驶汽车上。
一个开源的游戏
自2020年首次推出以来，麻省理工学院CSAIL对VISTA一直相当安静。然而，当他们推出VISTA 2.0 并将代码开源时，情况发生了变化。这项工作得到了美国国家科学基金会、丰田研究所和英伟达公司的支持，并有Drive AGX Pegasus的捐赠。
VISTA 1只支持用一个摄像头传感器进行单车道跟踪。但为了实现高保真数据驱动的模拟，麻省理工学院的研究人员不得不重新思考如何合成不同的传感器和行为互动的基础。
VISTA 2.0是一个数据驱动的系统，可以大规模地模拟复杂的传感器类型和大规模的互动场景和交叉口。用比以前的模型更少的数据，该团队能够训练自主车辆，这些车辆可能比那些在大量真实世界数据上训练的车辆要强大得多。"VISTA 2.0展示了模拟传感器数据的能力，远远超出了二维RGB摄像头，还包括具有数百万点的极高维度三维激光雷达、不规则时间的基于事件的摄像头，甚至还包括与其他车辆的互动和动态场景，"CSAIL博士生Alexander Amini说。
焦点。激光雷达传感器数据
在一个数据驱动的世界里，激光雷达传感器数据更难解释--你实际上是在试图从世界的稀疏视图中用数百万个点生成全新的3D点云。麻省理工学院的研究人员利用汽车收集的数据，根据激光雷达数据将其投射到一个三维空间，然后让一个新的虚拟车辆从原来的车辆所在的地方开过去。最后，他们使用神经网络将所有的感官数据投射回这个新的虚拟车辆的视野中。
再加上基于事件的摄像机的模拟，其运行速度为每秒数千个事件，该模拟器能够实时模拟这种多模态信息，允许神经网络进行离线训练，并在增强现实设置中进行在线测试，以便进行安全评估。
因此，你可以在模拟中移动，使用不同类型的控制器，模拟各种类型的事件，创建交互式场景，并简单地放入甚至不在原始数据中的全新车辆。他们测试了车道跟踪、车道转向、汽车跟踪，以及更危险的场景，如静态和动态超车（看到障碍物并绕行以避免碰撞）。真实的和模拟的代理与多机构互动，新的代理可以被投放到场景中并以任何方式控制。
VISTA 2.0本质上允许社区收集他们自己的数据集，并将其转换为虚拟世界，他们可以直接模拟他们自己的虚拟自主车辆，在这些虚拟地形中行驶，在这些世界中训练自主车辆，然后直接将其转移到全尺寸的真实自驾车上。
增加价值
"有用性取决于收集到的数据的质量，随着研究人员对这一工具的使用，将会很有趣。通常情况下，雷达也是一个传感器数据源，看到有和没有雷达的模拟世界质量的差异将是有趣的。一般来说，这个模型可以作为一个很好的模拟环境来训练和测试部署的各种人工智能模型。一位自动驾驶专家说："模拟环境中的行为者的建模对自动驾驶汽车的部署始终是一个挑战，而且仍然是这个工具中没有明确解决的挑战。
仿真环境以现实世界的数据为基础，并作为一个强大的平台来建立。发布这个数据集和环境供研究人员训练和测试，消除了建立自动驾驶平台的许多过剩问题。像Waymo和Cruise这样的自动驾驶汽车公司也已经开源了数据集和工具。"由于大多数成熟的自动驾驶汽车公司已经在这方面投入了大量资金，开发了自制的工具，并依靠它们紧密地整合到他们的开发过程中。此外，对他们自己的数据源、传感器和HW的依赖是至关重要的，并降低了这种工具对一个成熟公司的价值。另一方面，早期的初创公司可以从使用这个框架展示价值中受益，但也有局限性。还有像Applied intuition这样的公司，提供更多的稳定性和信心，并提供令人信服的价格点，这直接降低了这样的数据集对AV制造商的价值。然而，这个框架给AV制造商带来的最大好处是能够将优秀的人才从最好的人才中分离出来，因为学生在这些平台上展示他们的技术熟练程度，并能预先显示出切实的价值，"他补充说。
The postOpen-sourcing simulators for driverless carsappeared first onAnalytics India Magazine.
