推出AVS,UBER自主车辆可视化的开放标准

推出AVS,UBER自主车辆可视化的开放标准

了解当他们导航城市环境时所感知的自主车辆对于开发将安全运作的系统至关重要。并且,正如我们对街道标志和交通基础设施的标准来帮助人类驱动程序,自主车辆开发人员将由标准可视化平台提供良好的服务,以表示来自传感器,图像分类,运动推断和用于构建的所有其他技术的输入即时环境的准确图像。

正如我们所在书面之前,Uber的高级技术组(ATG)和可视化团队利用基于Web的可视化技术来解释这些传感器和算法衍生的世界,以支持一个不断增长的自主使用案例池。

今天,我们很高兴开源重新​​设计和扩展自主可视化系统(AVS),行业理解和分享数据的新方法。

显示自动车辆的传感器数据的动画gif
AVS可以在现实世界中显示自动车辆的性能。

AVS是一种新标准,用于描述和可视化自主车辆感知,运动和规划数据,提供强大的基于Web的工具包,以构建探索,交互和最批判性的应用程序,使得与该数据进行重要的发展决策。

作为独立的,标准化的可视化层,AVS释放开发人员必须为其自主车辆构建自定义可视化软件。通过AVS摘要可视化,开发人员可以专注于驱动系统,远程帮助,映射和仿真的核心自主功能。

需要统一的可视化

各种各样的组织,包括技术公司,基金会,研究机构,原始设备制造商(OEM)和初创公司正在解决自主驾驶的挑战。雷竞技是骗人的可视化工具,其显示在其环境中的自主车辆,对于开发安全驾驶系统至关重要。这些工具的要求通常源于靠近硬件和传感器堆栈,并在线或离线播放自动系统日志数据。随着平台成熟,新用例围绕分类,仿真,映射,安全性和图像集合以及标签。生产路径需要全新的监控,远程协助和支持围绕监控,远程帮助和支持。

除了快速发展的要求外,自主工程师通常被迫学习复杂的计算机图形和数据可视化技术,以便提供有效的工具解决方案。缺乏可视化标准导致工程师围绕现成的技术和框架组装自定义工具,以便快速提供解决方案。然而,在我们的经验中,这些尝试在围绕不同的现成部件开发工具,导致挑战维护,不灵活,并且通常不足以形成平台的坚实基础的系统。

我们正在与更广泛的自治区共享AVS,希望整个行业的合作将解锁更多的进步,定义新标准,并导致每个人的更安全,更有效的运输解决方案。

在运动中可视化世界

并排呈现城市环境的场景
在Puber ATG的基于Web的AVS的这个例子中,我们可以查看改进的车辆检测。

自主车辆开发是一种快速发展的区域,具有新的服务,数据集(特别是通过LIDAR),以及许多需要新解决方案的使用情况。在优步,有多个工程团队,具有我们解决方案所需的独特要求的独特要求。利用基于Web的可视化应用程序是一个明显的选择,因为它创建了在团队,用途特定应用程序,简化信息共享,自定义和与现有服务的集成中快速迭代的机会。

虽然优势很清楚,但如何有效地管理数据,同时保留与基于桌面的系统的性能相当的挑战。解决这些挑战需要新的抽象来管理和描述Web应用程序使用的生成数据。

鉴于上述要求,我们在两个关键件周围构建了我们的系统:xviz.提供数据(包括管理和规范)街景是电源Web应用程序的组件工具包。

xviz.

我们需要一个正式和灵活的规范,对自主系统生成的数据,使得数据格式可以与不断变化的基础架构集成,符合多个客户端,并且足够接近源以定义有效管理所需的控件和绑定以便有效地管理。

XVIZ流程图
用于XVIZ的高级数据流在服务器端上包含编码器和构建器,具有客户端的解码器,数据缓冲区和同步器。

xviz.提供一系列的场景视图,随着时间的推移和声明性用户界面显示系统而变化。像视频录音一样,您可以随机寻求并理解世界的状态。与HTML文档一样,它的演示介绍并根据允许内省的架构构建。但是,XVIZ还允许通过将单独的流更新绑定到单个对象中来轻松探索和询问数据。

XVIZ流是一系列离散更新,在特定的原始类型的特定时间内发生。原语是能够使诸如LiDAR点云,相机图像,对象界限,轨迹,车辆速度随时间和预测计划的信息的描述的对象。为用户简化演示文稿,这些对象可以单独打造(包括流级别)或分配样式类。

XVIZ通过分层命名组织流,单独的元数据部分列出了流,它们的类型,相对变换,声明ui面板和样式类。然后,用户界面向具有数据的对象捆绑图形面板,向用户提供控制通杆yaml.配置一系列布局和显示组件。

显示自动车辆的传感器数据的动画GIF
XVIZ的数据结构允许我们从数据集中切换流。

街景

街景的组件,包括汽车,相机,树木和情节
Streetsmape.gl提供各种UI组件,包括相机,播放控制,对象标签和绘图功能。

Streetsmape.Gl是一个工具包,用于构建在XVIZ协议中消除数据的Web应用程序。它提供了用于可视化3D视口,图表,表格,视频等的XVIZ流的删除式组件。它地址涉及常见的可视化疼痛点,例如数据流跨数据流,坐标系,摄像机,动态造型以及3D对象和交叉组件的交互,使用户可以投入更多的时间构建自动车辆软件本身。

渲染性能是街景的最高目标。建立在反应和优步的成熟之上WebGL供电的可视化平台,我们能够支持与支持数十万几何形状的场景的实时播放和平滑互动。

可组合性也是街头景观的前沿和中心。从我们的工作中学习我们的内部可视化平台,这为十几种多样化的使用案例,如三环,标签,调试,远程帮助和场景编辑,我们设计了零件是高度款式和可扩展的组件,以便任何团队都可以建立一个针对其独特工作流程量身定制的体验。

AVS如何不同

AVS旨在开放和模块化,从内部团队开始发展的贡献,以便开展开发以启用解耦。架构上,它提供了一种分层方法,其中自主堆栈的组件之间的耦合最小化,并为数据交换提供清晰的定义。每层都可以根据需要演变而不需要系统范围的更改,并且可以针对特定上下文或US-Case定制图层。

这种指导原理有助于将AV与电流解决方案分开。具体而言,AVS的架构自身区分因为:

  • 它旨在有意分离来自任何底层平台的数据
  • 它有限,小规格使工具更易于开发
  • 其数据格式要求导致快速传输和处理

此外,我们营造了AVS,以满足自主生态系统中每个人的需求,包括工程师,车辆运营商,分析师和专业开发人员。自主工程师可以轻松描述他们的系统,然后通过有限的开销测试和可视化他们的期望。专家开发人员可以快速构建具有强大性能特征和使用街景的集成的数据源可忽视应用程序。最后,运营商可以以标准的视觉格式查看数据,包括多种应用程序,包括视频,导致更容易更轻松的协作,知识理解,更深入的分析和数据质量的整体信任。

通过向行业开放,我们鼓励更多地在这一初始想法上贡献和建立。

在行业及以后的应用

适用于建造或支持自动车辆的公司,如航程应用直觉, 和优步阿格从模拟或路上测试开始寻找问题的根本原因可能是一个非常耗时的过程。

根据画灰色,航行的首席技术官,B.Eing能够在视觉上探索自治传感器数据,预测路径,跟踪对象,以及加速度和速度的状态信息对分流过程非常宝贵,并且可以积极影响开发人员效率。然后可以使用信息来设置数据驱动的工程优先级。

Voyage联合创始人沃伦欧阳回应了灰色的灰色情绪。

“我们很高兴使用优步自主可视化系统并合作建立更好的社区工具,”欧阳说。

自上而下的外观渲染的交通圈
AVS在其他应用程序中提供丰富的上下文,例如此示例它增强了Uber ATG的奇观事件审查应用程序。

除了根本原因分析,优步的团队也为其他用例杠杆化了,例如基于Web的日志查看,开发人员环境和映射维护。我们还打算通过开放的技术,其他新生和邻居行业的开发人员,如无人机,机器人,卡车运输,舰队管理,增强和虚拟现实以及零售,将找到该工具包的应用程序。

下一步是什么

带来AVS.更广泛的行业只是开始。我们设想它的民主化访问,了解更多开发人员和寻求为自治空间做出贡献的操作员。

在与Voyage,应用直觉,贡献者和开源基础上的合作伙伴合作,我们计划加强具有更多数据源和规格(特别是ROS支持),性能优化和更丰富的功能,例如并排比较。

“在应用的直觉上,我们正在与世界上最先进的AV团队合作,他们需要最先进的工具,”彼得莱德维希,申请直觉的CTO说。“AVS符合这一点,并且显着伟大的是它是基于Web的,并且在社区中填补了不再重建相同的可视化工具。这是一个很棒的来自优步举动的AV社区。“

呈现的街道和车辆的图象
Uber ATG的AVS-Powered AV日志查看器应用程序允许我们分析车辆的交叉路口方法。

优雅有兴趣实现自动车辆的长期愿景:对每个人来说,更安全,更清洁,更有效的运输解决方案。不幸的是,任何行业的早期开发者工具都往往是原始的,并适应解决延伸能力的新用例。鉴于技术如何改变运输和我们所居住的城市,需要更好的工具来加快这种变化,就像以前一样紧急。

无论是产品改善城市规划投资,更丰富的地理空间分析高级映射, 或者新的行动趋势,我们发现开放的数据和工具策略可以帮助各国政府,开发商,研究人员,以及整体行业加速未来更聪明的运输生态系统。雷竞技是骗人的

如果您有兴趣开发技术推进运输未来,请考虑申请职务在优步。l如果你感兴趣的话为AVS做出贡献或其他优步开源项目,退房我们的开源计划主页

特别感谢:IB Green,Nicolas Belmonte,新通夏,特拉维斯·戈尔丁,安东尼Emberley,Jon Thomason,Carnaven Chiu,Jienrianer Anderson,Neil Stegall,Charlie Waite,Ziyi Li和Erik Klimczak。

注释