在Uber ATG，开发安全的自动驾驶汽车系统不仅意味着在我们每天看到的典型交通场景上培训它，而且也是边缘案例，那些更困难和罕见的情况，甚至会闪耀一个人类的司机。为了确保我们不仅仅是在最常见的交通方案上专门培训我们的系统，我们开发了一个搜索引擎，让我们的工程师在历史传感器数据的Tberytes之间寻找那些Rarer实例。

开发自动驾驶汽车的一个重要组成部分是，人类沿着城市街道行驶，使用雷达、激光雷达、摄像头和其他传感器来收集数据。这些人类驾驶的汽车收集的数据不仅显示了道路基础设施的样子，而且还显示了车辆、行人和其他行动者之间复杂的互动。我们从这些数据中得出的交通场景捕获了典型的情况，如一群行人过马路，到更困难的边缘情况，如车辆在交通灯变化后被困在十字路口。

我们使用这些交通方案开发机器学习模型，帮助我们的自动驾驶汽车安全地反应普通，而不是如此普遍的情况，这些情况运营领域。

利用Apache Hive，Apache Spark和apache Hadoop等项目使用的项目使用大数据平台，我们创建了基础设施，让我们可以搜索我们的数据，这些不太常见的场景可能会发生。有了这个系统，ATG开发人员可以查询数据集，通过训练他们处理那些困难的情况和场景来改进我们的模型。

坚实的数据基础

在收集机器学习的收集训练数据上快速迭代的键是具有强大而可扩展的数据解决方案，可以有效地运行复杂的查询。因此，我们开发了ATG Analytics平台，其中包含模型表中的所有标记数据，因此我们可以查询我们的数据。

该数据描述了交通场景中的参与者，包括自行车手、行人和不同的车辆类型，因此查询可以询问自行车手存在的场景。我们还讨论了特定类型的交通运动，例如，我们可以关注涉及左转和道路几何形状的情况，这允许更大的查询粒度。这些特定的场景可以用来训练我们的自动驾驶汽车，使其与骑自行车的人一起安全驾驶。

ATG Analytics平台以以下原则为基础：

• 可搜索的：易于找到可用数据并针对此数据制定查询
• 可信：定义的质量标准和可预测的服务级别协议
• 耐用的:可长时间进行时间比较及分析趋势
• 可扩展：能够对大型数据集处理复杂的查询

ATG Analytics平台使用专用Apache Hadoop集群来提供足够的存储和计算容量。除了Apache Spark和Apache Hadoop之外，我们部署了Apache Hive，以支持基于Hive的分析。我们还建立了一个库，以便将数据有效地滚动到Hadoop分布式文件系统（HDFS）。此库允许开发人员在其工作流程中的任何位置添加数据发布者。在HDFS中的原始数据之后，我们有提取，转换和加载（ETL）管道，以将这些原始数据促进到建模表中。

建模表对于使我们的数据非常适用于培训自动驾驶汽车安全性。自主工程师而不是编写自定义ETL管道和复杂的功能，可以以快速和简单的方式查询建模表，找到他们需要迭代培训的场景类型。我们通过了维度建模范例作为我们的数据建模方法，允许我们在存储和计算成本之间取得平衡。

具有值得信赖的数据是成功建模的第一步。第二部分是在我们的日常工作流中提供一组经过战斗的分析工具。这些工具提供了Web和程序化接口，允许工程师和数据科学家编写SQL查询并针对我们的数据仓库启动工作。

例如，当处理地面真实标记的数据时，管道扫描每个日志，逐帧，以每秒10帧的频率提取数据。每个帧包括场景中所有标签的3D坐标，标签标识符和汽车的纬度和经度等字段。数据制作人可以包含这些字段，然后使用我们的内部Python库分区并将它们发布到HDFS。在数据纳入HDFS之后，ETL作业将数据升级到建模表。此作业使我们能够构建一个Hive Metastore，允许用户使用像SQL等语言查询数据作为Hive表。

Uber ATG也有一个内部工具叫做QueryBuilder，它提供了关系数据库前端的所有功能，同时也提供了最先进的可视化工具来理解数据背后的故事。

这些数据和相关的可视化使工程师能够识别和理解我们的感知模型在地理空间上是如何执行的。能够运行这种性质的查询并将其可视化对于自动模型的迭代非常有用，因为它有助于我们对数据有更多的了解，并找到更多我们需要训练模型的未被充分代表的场景。

在这些不太常见的场景中训练我们的模型，可以确保我们的自动驾驶汽车在行驶途中遇到类似情况时能够安全反应。

结论

数据是引导Uber ATG进入自动驾驶未来的燃料。查询数据的能力可以复制从日常到非常罕见的交通场景，将有助于我们的自动驾驶汽车为任何情况做好准备。正如ATG分析平台所展示的那样，数据可访问性和适当的工具使自动化工程师和科学家能够释放我们在ATG积累的大量数据背后的潜力。优步自动驾驶汽车日志的智能提升，使其具有战略优势，因为我们有效地迭代了世界级的机器学习模型。

要让自动驾驶汽车的未来成为现实，还需要做很多工作。如果你有兴趣在这激动人心的时刻和我们一起骑行，加入我们!