从Uber开放峰会预览7个开源项目

0
从Uber开放峰会预览7个开源项目

开源软件无处不在我们在优步所做的工作.在基础设施方面,我们提供了一些项目,比如Jaeger它可以让工程师追踪复杂的架构M3,这是一个与普罗米修斯.对于前端开发,我们构建肋骨,一个跨平台的移动应用程序架构,以及Fusion.js,一个基于插件的web框架。在快速发展的机器学习领域,我们有开源工具,如Horovod分布式培训框架烟花,一种用Python编写的深度概率编程语言。

当然,我们在Uber也广泛使用其他开源软件。考虑到我们每天要处理1500万次旅行的数据,以及其他计算任务,我们使用ApacheHadoop用于大规模数据分析。它让我们的数据科学家找出最有效的方法让人们到达目的地。我们的工程师为Hadoop贡献了许多特性,使项目更具可扩展性。同样的,Apache火花管道注入了我们的架构,包装了许多独特和创新的产品,并实现了快速和精简的数据分析。我们通过我们的人工智能实验室,提供先进的研究,并在日常运作中,例如我们的雷竞技是骗人的理财规划平台.我们内部的机器学习平台,米开朗基罗,为这些工作提供了动力,并且是建立在诸如TensorFlow而且卡珊德拉

许多加入Uber的工程师都有开发开源项目的丰富经验,其他人则在工作中了解到了开源的价值。能够构建创新软件并将其发布到开源环境中,或者改进现有的开源项目,都是一种有益的体验,并被开源社区所接受。

2018优步开放峰会这是我们第一次专门讨论Uber开源生态系统的年度会议,我们的工程师和社区中的人员将展示和讨论他们的工作。以下是Uber open参与者有望了解到的7个开源项目:


Horovod标志Horovod

TensorFlow、Keras和PyTorch的分布式训练框架

类别:机器学习

“我们开发了Horovod,一个分布式培训框架TensorFlowKeras,PyTorch,以加速大规模机器学习模型的训练,并使开发人员更容易运行新模型。除了Uber, NVIDIA、亚马逊、阿里巴巴和许多其他公司都使用Horovod进行分布式深度学习。在过去的一年里,我们看到了Horovod的采用和外部捐款的数量都有了巨大的增长。橡树岭国家实验室、劳雷竞技是骗人的伦斯伯克利国家实验室和NVIDIA的一组研究人员使用改进版的Horovod在27,360 V100 gpu上进行了超过1亿次浮点运算的气候分析深度学习模型训练,他们将其贡献给了该项目。Amazon为并行的分层allreduce提供了支持,将速度从35%提高到40%。IBM为以下项目提供了支持PowerAI DDL,包括与Horovod集成到IBM Watson Studio和IBM FfDL.云基础设施AWS、GCP、Azure和NVIDIA GPU Cloud现在将Horovod作为其标准深度学习映像的一部分。我们期待着帮助更多用户扩展他们的工作量,并继续提供有影响力的贡献!”

- - - - - -亚历克斯能够霍洛维德项目负责人


烟花的标志烟花

一种深度通用的概率编程语言

类别:机器学习

Pyro是一种基于PyTorch的深度概率编程语言,PyTorch是一种现代的gpu加速深度学习框架。Pyro由Noah Goodman和团队在Uber AI实验室开发,被用作现代贝叶斯机器学习的研究平台,深度神经网络可以用于模型和推理。雷竞技是骗人的为了扩展到大型数据集和高维模型,Pyro使用了构建在PyTorch之上的随机变分推理算法和概率分布。为了适应复杂的或特定于模型的算法行为,Pyro利用Poutine,这是一个可组合的构建块库,用于修改概率程序的行为。Uber内部的应用程序包括传感器融合而且时间序列预测.Pyro团队与PyTorch团队和许多开源合作者密切合作,为概率机器学习研究创建了一个丰富、稳定的工具集。”雷竞技是骗人的

- Fritz Obermeyer (Pyro工程师


Fusion.js

一个基于插件的通用web框架

类别:前端

“Fusion.js是一个基于插件的通用web框架,由Uber的web平台团队构建。自8月份发布以来,我们公司内有超过120个web应用程序在使用它。另外,为了配合我们的新品牌发布,优步网站重新设计并构建在Fusion.js之上,由于Fusion注重性能的特性,页面和交互性负载减少了75%。我们还计划对我们的编译器进行更新,包括针对现代浏览器和旧浏览器的单独JavaScript包,ES5的浏览器,这将大大减少我们的JavaScript包的大小为我们的大多数用户基础。即将到来的其他更改包括改进对GraphQL而且阿波罗,以及默认的service worker插件。”

- - - - - -马特·摩根, Fusion.js项目负责人


地球用十六进制划分H3

六角形分层地理空间索引系统。

类别:后端

“H3是优步的六边形网格系统,我们用它来索引地理空间数据,创建可视化,优化优步市场。我们最近完成了开源Python而且绑定的H3库,添加到由开源社区贡献的绑定Kepler.gl最近获得了能力可视化H3索引数据.我们很高兴能与开源社区合作开发H3算法,并为使用H3的开源软件应用程序构建集成。”

- - - - - -艾萨克·布罗斯基, H3项目负责人


M3的标志M3

分布式TSDB和查询引擎、Prometheus Sidecar、度量聚合器等等

类别:基础设施

M3,一个度量平台,以及M3DB这是一个分布式时间序列数据库,由Uber在纽约市的Observability团队开发。现在有了支持普罗米修斯M3是一个流行的开源监控系统,它是一个实时的、交钥匙的、可伸缩的、可配置的多租户存储,用于应用程序、系统和基础设施指标,从而支持下一代监控和数据驱动决策。M3在Uber存储了pb级的指标,并开始被美国、欧洲和中国的一些组织采用,作为一个集中系统来存储和查询分散的短期普罗米修斯指标实例。不断增长的社区使任何人都可以轻松地运行自己的可靠和可扩展的度量系统。我们将在KubeCon 2018在西雅图讨论M3在Kubernetes上的云部署,并在纽伦堡、索菲亚和纽约的会议上介绍M3作为一个平台的情况。”

- - - - - -Rob SkillingtonM3项目负责人


Jaeger标志Jaeger

在复杂的分布式系统中监视和排除事务故障的跟踪系统

类别:基础设施

Jaeger为Uber的数千个微服务提供分布式跟踪。利用来自许多RPC框架的跟踪数据,Jaeger将服务调用整合到一个统一的调用图中。Jaeger是云原生计算基金会的成员,并把它做成了InfoWorld列出了用于云计算的最佳开源软件过去两年。最近,积家一直在开发新的方法来利用优步服务产生的大量跟踪数据。该团队开源了基于kafka的发布和数据摄取功能,这些功能是Uber大量使用的数据挖掘和跟踪数据汇总分析的基础,以及用于比较跟踪和跟踪队列的新颖可视化工具。”

- - - - - -尤里Shkuro积家项目负责人


Vis标志Vis.gl

一套开源可视化框架

类别:可视化

Vis.gl框架套件,由优步的可视化和城市计算团队,目前由luma.glreact-map-gldeck.gl,kepler.gl.我们继续看到这些开源可视化库的强大支持和有趣用途。最近,OmniSci(前身为MapD)的团队证明了甲板。gl的z轴可以用来可视化多个层。劳伦斯伯克利国家实验室(Lawrence Berkeley National Laboratory)和加州大学伯克利分校(UC Berkeley)的联合研究也利用了甲板。gl,模拟交通选择在旧金山制作,提供数据的可视化表示,以帮助城市规划交通选择。在交通方面,石灰利用开普勒望远镜。gl,show its mobility heartbeats in Santa Monica and Paris as part of its1000万次出行公告.我们和开源社区的其他成员将继续开发和寻找Vis.gl的新用途,并将在即将在柏林、慕尼黑和纽约举行的会议上进行演讲。”

- - - - - -尼古拉斯·加西亚·贝尔蒙特, Vis.gl项目负责人


注册参加Uber开放峰会,请访问:https://uberopen2018.splashthat.com/

有关Uber开源的更多信息,请访问:https://opensource.uber.com

评论