优步的日常运营产生数据,例如在任何特定时间的旅行请求或食品订单的数量,可以向我们展示如何改善我们的服务。但是,如果我们在需要时可以检索它,此信息才真正有用。缺乏对我们的业务数据的访问,就像在没有任何水龙头的情况下拥有大型水箱。为了提供我们的内部分析师的见解,以改善我们的运营,我们需要找到合适的数据查询引擎。
许多这些先进的系统都可提供,但我们的团队发现开源普拉斯托这是一个与数据源无关的SQL查询引擎,最符合优步当前的需求。
我们的大数据基础设施包含各种数据源,每个数据源都利用了最适合其需求的技术,从实时流到大型数据湖。Presto允许优步内部用户在各种数据库技术上运行SQL查询。Presto的多功能性让我们能够做出智能的、数据驱动的业务决策,并运行关键的业务操作。
优步工程师拥有Presto开发,编写和贡献数据库连接器和其他改进回开源社区。优步的Presto专家支持我们的Presto集群上的一千个节点。这些节点每天运行约40万个查询。
识别Presto的价值,优步加入了Presto基金会作为创始成员。在Linux基金会的伞下,Presto Foundation的努力推进和开发越来越强大的SQL查询技术。
我们坐下来与优步的Presto开发人员讨论他们喜欢这个开源技术的原因,为什么对我们公司如此有价值:
Girish Baliga,互动分析团队经理
我管理优步的互动分析团队。我的团队优化Presto for Uber用例,维护我们的生产Presto部署,并管理我们的数据仓库vertica.是一个受欢迎的交互式数据分析平台。
你最喜欢的工程任务是什么?
我通常喜欢优化我们的运营,业务和数据科学用户的SQL查询。我最喜欢的任务是帮助我们的用户解决Presto上的关键问题。例如,我们的一个用户在加拿大的司机合作伙伴上运行每周文件审核。他有一个失败的presto sql查询,因为它没有内存。事实证明,他的查询在计算a时,他的查询在内存中的数据过于困境。等级()函数。我重新开始查询以阅读文档数据后对计算进行排序,他的查询现在运行不到一分钟。我可以讲几个类似的故事,是关于每周在Uber帮助不同业务部门的。帮助同事在Presto上高效地完成关键业务工作是很鼓舞人心的。
什么是presto的优势?
presto是一个创新的remag,一个数据分析sql引擎的remagining,它同时在大型共享群集中运行查询。它针对绝大多数数据分析查询,其结果适用于易失性的内存,为简单设计和操作提供专用资源管理。由于它在内存中执行了所有功能,因此Presto非常快速和交互。
Presto演变为在Facebook上处理大型关键数据分析工作负载,因此它针对高级吞吐量进行了优化,以处理组织的大多数分析工作负载。建立和操作也很容易。Presto即使在优步的巨大规模中也是非常稳定和强大的。
你喜欢与presto一起工作什么?
Presto非常精心设计,非常可观。我们已成功扩展它以与之合作阿帕奇菌落我们在Uber使用的文件格式。我们还为存储系统编写了连接器,如Apache黑比诺,目前正在Apache软件基金会进行孵化,以及Elasticsearch.,它在优步存储关键业务数据。
我也很感激Presto有一个非常活跃和强大的社区,有来自世界各地各种公司和机构的许多贡献者。由于社区的参与,他们已经将Presto扩展为一系列数据格式、存储系统和用例。Presto全面的代码选项和简单的SQL接口使其成为优步跨多个不同存储系统查询和连接数据的理想接口。
数据分析软件工程师Devesh Agrawal
我是Uber数据分析团队的一名软件工程师。我在Presto和Apache Pinot上工作。我也非常欣赏导师其他工程师的机会。
你参与和/或使用了哪些开源项目?
我为Apache超级集,一个企业级的商业智能web应用程序目前正在Apache软件基金会进行孵化。我也一直在研究对Apache Pinot和Presto的贡献还没有被推到上游。我在优步的团队使用各种开源软件,包括HDFS那Apache蜂巢,当然还有Presto。
为什么你的团队选择使用presto?
java中没有许多完整的SQL开源引擎。此外,Presto具有强大的插件/连接器模型,允许联合其他引擎。
与Apache Hive相比,我找到了Presto CodeBase非常开发人员友好。发展社区已经让Presto与IDE集成并在笔记本电脑上运行,这使得船上和调试轻松。
外部组织的外部组织是否为Presto开发工作?这是如何合作的?
我和我的同事主要在Facebook团队工作。我们的合作是非常友好和即兴的。我们经常去他们的办公室,在白板上讨论代码,工程师对工程师。
你将来有什么计划为速成做贡献?
我有兴趣通过实时数据实现低延迟,全功能SQL的圣杯。目前的系统在这三个维度中的一个或多个中牺牲。为了解决这些限制,我们正在使用Apache Pinot等其他实时引擎的低延迟Presto工作aresdb.,优步的开源gpu驱动的实时分析引擎。目前,我们已经能够实现低延迟,开销低于50毫秒,并支持一系列查询,包括连接、筛选和聚合。
Bhavani Sudha Saktheeswaran,Data Analytics软件工程师
我是Uber数据分析团队的一名软件工程师。我主要专注于优化Presto NameNode交互。我也为Presto和Apache Hudi开源项目做出贡献。
你喜欢与presto一起工作什么?
Presto非常轻巧,灵活。将连接器开发到任何数据源并从presto查询它是相当容易的。
是什么让presto为您的团队用例的其他查询选项提供的边缘?
Presto的超级大国在单一查询中查询异构数据源。它隐藏了在SQL抽象后面整齐的任何复杂性。我喜欢Presto快速分析不同数据来源的能力,而无需跨越不同的查询平台,并使用定制管道将结果与结果相关联。
Atul Gupte,产品平台产品经理
我是Uber产品平台团队的产品经理。我在互动分析公司工作,数据科学工作台, 和数据知识平台团队。我帮助推动产品的决策,以获得优步的Myriad团队访问我们的基础架构,稳定的计算资源和先进的工具。这项工作有助于我们的团队确保优步的服务有效和无缝运作。
你最喜欢你在优步的工作吗?
我本质上是个技术专家;我坚信技术的力量可以简化具有挑战性的任务,帮助人们实现他们的目标。在优步,团队利用大量数据为我们的乘客、食客、司机合作伙伴和餐厅合作伙伴提供无缝的平台体验。通过在产品平台团队的支持下构建数据产品,我创造了成倍提高优步团队效率的途径。帮助我的同事充分发挥他们的潜力让我很有成就感。
为什么你的团队会选择利用Presto的堆栈?
当其名称表明时,Presto是一种快速的方式,即优雅的用户通过对他们的问题进行近似立即对其进行巨大的数据来了解我们的大数据。作为一种技术,它很容易设置和操作。由于它在共享资源模型上运行,因此它不需要管理计算资源的复杂开销。
我们的内部用户涵盖广泛的专业角色,从运营经理和分析师到数据科学家和机器学习研究人员。雷竞技是骗人的尽管他们拥有丰富的技术技能和经验,但我们所有的Uber用户都很容易学会了Presto SQL。今天,我们在优步的Presto安装可靠地支持了世界各地优步办公室的用户提交的数十万个查询。
Presto如何帮助我们的Uber团队?
Presto是优步互动分析组合中的一笔巨大资产。它的设计和可扩展性对于我们这样规模的公司来说非常好,与我们依赖的各种存储系统完美地集成在一起。
鉴于Presto的适应性和易用性,Uber的团队依赖于它来探测并理解我们的数据,这有助于他们做出业务的决策。Presto工具可以从仪表板上运行由由Uber overs的实时系统提供的仪表板,以分析师在关键城市分配营销花费的查询。作为Presto团队的一部分,给了我一个令人难以置信的概述,概述了整个公司正在解决的令人兴奋的挑战。
中亭胡,数据分析软件工程师
我是Uber数据分析团队的软件工程师,主要用于Presto安全和生产。我发现建立和调试可靠,可扩展的生产系统的奖励。例如,一旦我们有一个问题被打破的问题。在几个小时内,我努力识别并重现问题,调查的日志,并对我们的presto实现和其他生态系统执行的实时调试,例如HDFS NameNode和HMS,直到我终于修复了它。那是一个有趣的一天。
您使用哪些开源项目?
我一直在使用许多优步工程师的Elasticsearch,以及Apache Hadoop生态系统中的项目,例如HDFS,Hive和Spark。
与其他工具相比,Presto的优势是什么?
首先,除了需要将中间数据写入磁盘的一些工具,Presto首先,Presto很快,因为它处理内存中的所有数据。其次,Presto利用SQL,已成为数据工具的标准,因此大多数工程师都熟悉它。这使得在新用户易于滚动。
你将来有什么计划为速成做贡献?
我有兴趣优化查询和执行引擎,并为不同的数据库添加更多连接器。此外,我认为我可以在生产验证,阴影测试框架和监控周围的地区捐赠普拉斯托生态系统。
Venki Korukanti,Data Analytics软件工程师
我是Uber的数据分析团队的软件工程师,我主要在Presto上工作。
你参与和/或使用了哪些开源项目?
我为Apache软件基础的一些开源项目做出了贡献,包括钻孔,蜂窝,方解石和箭头。我最近开始为presto做出贡献。
你喜欢与presto一起工作什么?
我喜欢Presto的生产稳定性和可扩展性。Presto周围的开源社区是开发商友好的,专注于写作质量代码的重要性。
Presto提供了一个非常好的连接器框架,用于在多个数据源之上构建一个用户面向用户的查询引擎,这正是优先权所需的。Facebook测试了在Web刻度上的每个Presto发布,这让我对其稳定性和可靠性充满信心。
你将来有什么计划为速成做贡献?
作为我在优步工作的一部分,我已经为Connectors的聚合,过滤器和投影开发了一个推动框架。我已经使用此框架实现了Pinot和AresdB连接器。我希望很快就会让这个框架开源。我目前还在努力改善Presto的镶木地板读者表现。
有兴趣与我们的Presto团队或优步的其他工程团队合作吗?考虑申请一个职位吧!












