官宣!ASF官方正式宣布Apache Hudi成为顶级项目-阿里云开发者社区

开发者社区> 优惠码优惠> 正文

官宣!ASF官方正式宣布Apache Hudi成为顶级项目

简介:
+关注继续查看

官宣!ASF官方正式宣布Apache Hudi成为顶级项目

马萨诸塞州韦克菲尔德(Wakefield,MA)- 2020年6月 - Apache软件基金会(ASF)、350多个开源项目和全职开发人员、管理人员和孵化器宣布:Apache Hudi正式成为Apache顶级项目(TLP)。在投票表决Hudi毕业时,Hudi总共获得了19票binding(其中包括ASF联合创始人Jim Jagielski的一票),21票non-binding。

Apache Hudi(Hadoop Upserts Delete and Incremental)数据湖技术可在Apache Hadoop兼容的云存储和分布式文件系统之上进行流处理。该项目最初于2016年在Uber开发(代号和发音为"Hoodie"),于2017年开源,并于2019年1月提交给Apache孵化器。

Apache Hudi项目VP Vinoth Chandar说:“在孵化器中学习和发展Apache之道是一种有益的体验,作为一个社区,我们对我们共同推动该项目走了多远依然感到谦卑,与此同时,对即将到来的挑战感到兴奋。”

Apache Hudi用于在Apache Hadoop分布式文件系统(HDFS)或云存储上使用流处理原语(例如插入更新和增量更改流)来管理PB级数据湖。Hudi数据湖提供了新鲜的数据,比传统批处理效率高一个数量级。 核心功能包括:

可插拔式的索引支持快速Upsert / Delete。
事务提交/回滚数据。
支持捕获Hudi表的变更进行流式处理。
支持Apache Hive,Apache Spark,Apache Impala和Presto查询引擎。
内置数据提取工具,支持Apache Kafka,Apache Sqoop和其他常见数据源。
通过管理文件大小,存储布局来优化查询性能。
基于行存快速提取模式,并支持异步压缩成列存格式。
用于审计跟踪的时间轴元数据。
阿里巴巴集团、亚马逊AWS、EMIS Health、Linknovate、Tathastu.AI、腾讯和Uber等组织。都在使用Apache Hudi,https://hudi.apache.org/docs/powered_by.html 提供了使用Hudi的部分列表。

我们很高兴看到Apache Hudi毕业成为Apache顶级项目。Apache Hudi在Amazon EMR版本5.28和更高版本中受支持,并使拥有Amazon S3数据湖中数据的客户能够执行记录级的插入,更新和删除操作,以执行隐私法规,更改数据捕获(CDC)和简化的数据管道开发 ” AWS总经理Rahul Pathak说。 “我们期待与我们的客户和Apache Hudi社区合作,以帮助推进该项目。”

Apache Hudi项目管理委员会成员Nishith Agarwal说:“在Uber,Hudi近实时地管理地球上最大的交易数据湖之一,为全球用户提供有意义的体验,累计超过150 PB的数据和每天超过5,000亿条记录被提取,Uber的使用范围从关键业务工作流程到分析和机器学习。”

“使用Apache Hudi,用户可以轻松处理重读或重写的场景,并且Hudi使用Apache Parquet和Apache Avro管理存储在HDFS/COS/CHDFS上的基础数据。”腾讯云实时计算服务技术负责人Felix Zheng说道。

“随着云的基础设施越来越完善,用户的数据分析和计算方案逐步开始基于云上对象存储和计算资源构建数据湖平台。Hudi是一个很好的增量存储引擎,用开放的方式帮助用户管理好数据湖的数据,加速用户的计算和分析。”阿里云Data Lake Analytics - Lake Formation技术负责人李伟表示。

“Apache Hudi是Hopsworks Feature Store的关键模块,它提供了版本控制、增量和原子更新以及时间旅行查询等功能” Logical Clocks的CEO /联合创始人Jim Dowling说。“Hudi毕业成为Apache顶级项目,也是开源数据湖从早期的数据沼泽化身到现代支持ACID且可用于企业的数据平台。”

Uber工程平台高级总监Jennifer Anderson表示:“Hudi毕业成为Apache顶级项目是Hudi社区众多贡献者共同努力的结果。Hudi对于Uber大数据基础架构的性能和可伸缩性至关重要。我们很高兴看到它获得牵引力并实现了这一重要里程碑。”

Vinoth Chandar补充道:“到目前为止,Hudi已经开始在业界中就数据仓库和数据湖之间的巨大差距进行有意义的讨论。在Apache社区的帮助下我们连接起了其中一部分,但我们仅仅是从技术路线图着手。我们欢迎每位开发者做出更多贡献和合作以实现这一目标!”

可以访问 https://github.com/apache/hudi 给出你的star & fork.

在2020年6月7日至12日举行的Virtual Berlin Buzzwords,MeetUps和其他活动中了解Apache Hudi。

可用性和监督
Apache Hudi是根据Apache License v2.0发布的,并且由该项目的积极参与者自选团队进行监督。项目管理委员会(PMC)指导项目的日常运营,包括社区开发和产品发布。 有关下载,文档以及参与Apache Hudi的方式,请访问http://hudi.apache.org/https://twitter.com/apachehudi

关于Apache孵化器
Apache孵化器是希望成为Apache Software Foundation工作的一部分的项目和代码库的主要入口。外部组织和现有外部项目的所有代码捐赠均通过孵化器进入ASF,以:1)确保所有捐赠均符合ASF法律标准; 2)建立符合我们指导原则的新社区。 所有新接受的项目都需要进行孵化,直到进一步的审查表明基础架构,通信和决策过程已经以与其他成功的ASF项目一致的方式稳定下来。 虽然孵化状态不一定反映代码的完整性或稳定性,但确实表明该项目尚未得到ASF的完全认可。有关更多信息,请访问http://incubator.apache.org/

关于Apache软件基金会(ASF)
这家全志愿者基金会成立于1999年,负责监督350多个领先的开源项目,其中包括Apache HTTP Server(世界上最受欢迎的Web服务器软件)。通过ASF称为“ Apache之道”的精英流程,六大洲的813名个人会员和7800个提交者成功地合作开发了免费的企业级软件,使全球数百万用户受益:数千种软件解决方案在Apache下分发执照;社区积极参与ASF邮件列表,指导计划以及ApacheCon(基金会的官方用户会议,培训和博览会)。ASF是一家美国501(c)(3)慈善组织,由个人捐款和企业赞助商资助,其中包括Aetna,阿里云计算,亚马逊AWS,Anonymous,百度,彭博社,Budget Direct,Capital One,CarGurus。 Cerner,Cloudera,Comcast,Facebook,Google,Handshake,Huawei,IBM,Inspur,Leaseweb,Microsoft,Pineapple Fund,Red Hat,Target,腾讯,Union Investment,Verizon Media和Workday。有关更多信息,请访问http://apache.org/https://twitter.com/TheASF

©Apache软件基金会。 “ Apache”,“ Hudi”,“ Apache Hudi”,“ Hadoop”,“ Apache Hadoop”和“ ApacheCon”是Apache软件基金会在美国和/或其他国家的注册商标或商标。所有其他品牌和商标均为其各自所有者的财产。

原文地址https://www.cnblogs.com/leesf456/p/13049282.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
MIT官方点名:阿里云是全球最聪明公司之一!
《MIT科技评论》发布2019 年 “50 家聪明的公司” (TR50)榜单,**阿里云成为全球首家上榜云服务商**。
11596 0
Apache Thrift 官方JAVA教程
本文所使用的开发环境是windows环境,利用的资源是官网给出的,只是网上搜了很多文章,都不是很明白,我把我自己的经历写出来分享给大家,大家互相学习,有好的建议,希望不吝赐教 1.
1710 0
x3d
Google官方关于Android架构中MVP模式的示例续-DataBinding
基于前面的TODO示例,使用Data Binding库来显示数据并绑定UI元素的响应动作。 这个示例并未严格遵循 Model-View-ViewModel 或 Model-View-Presenter 模式,其中既有View Model,也有Presenter。
860 0
【阿里Java技术进阶】官方钉群直播大全(持续更新)
由于我们【阿里Java技术进阶】官方钉群中有粉丝私信小编,去年的直播课怎么在群中看不了了(ps:钉群可保存3个月内的直播回放),因此小编特别搜集了从2018年钉群成立到现在的所有直播内容,快快收藏起来,之后本文会持续更新哦~
542527 0
Objective-c官方文档 怎么自定义类
通过类别来给已经存在的类添加方法来实现自定义类 如果你需要添加一个方法给一个已经存在的类,也许能增加新的功能使你更容易来在我们的应用里处理一些事情。最简单的方法是用类别。 这个语法有点想类的接口描述但是他是没有继承类的,相反的要指定类别的名字在括号里面。
700 0
Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy
爬前叨叨 2019年开始了,今年计划写一整年的博客呢~,第一篇博客写一下 一个外包网站的爬虫,万一你从这个外包网站弄点外快呢,呵呵哒 数据分析 官方网址为 https://www.clouderwork.
753 0
Objective-c官方文档翻译 类的定义
 类是对象的蓝图。 一个类是描述了对象的行为和属性。例如NSString的一个实例。他的类提供了各种的方法来转化和表示他的内部字符的表示。   每个类的实例都包含了这个类的属性和行为。例如每个NSString类的实例都用相同的方法表示。
668 0
+关注
优惠码优惠
阿里云优惠码阿里云推荐券bieryun.com
203
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载