标签:数据架构
通过Globle Apache Hadoop表的全局索引一致的数据划分
执行Uber中超过100个Petabyte Apache Hadoop数据湖中的单个记录的更新需要构建全局索引,这是一个组件,该组件在规模上管理数据簿记和查找。
QueryParser,一个用于解析和分析SQL的开源工具
QueryParser写在Haskell,是Uber Engineering的开源工具,用于解析和分析SQL查询,使得大数据仓库中的外关关系易于识别。
哈迪:Uber Engineering Apache Hadoop上的增量处理框架
Uber Engineering的数据处理平台团队最近建立和开放了Sourced Hudi,这是一个支持我们业务关键数据管道的增量处理框架。在本文中,我们了解哈迪如何为富裕的数据生态系统发电,外部来源可以在接近实时摄入Hadoop。












