快速参与下一代数据湖顶级项目ApacheHudi

简介: 快速参与下一代数据湖顶级项目ApacheHudi

1. 介绍

数据湖作为下一代技术,概念持续火热,国内外已经有越来越多的公司开始调研并采用 ApacheHudi。开发者对于新的 feature、发现的 bug、对项目的 question等, Hudi社区都鼓励开发者通过邮件列表、提 JiraIssuePR等方式参与社区,这样能形成良好的社区氛围,促进社区快速发展。对于想要参与社区开发但还不知道如何参与的开发者,本篇文章给出了指引。

2. 准备

若开发者之前已经参与过Apache社区的其他项目,对此流程应该非常熟悉,可略过余下部分,直接提出你的第一个Hudi PR!

2.1 账号准备

2.2 PR准备


  • 为鼓励开发者快速参与 Hudi社区,社区会将一些简单任务标记为 starternewbie,可通过这里(https://issues.apache.org/jira/issues/?jql=project+%3D+HUDI+AND+component+%3D+newbie)查找新手任务,对于未修复的 jira单,用户可 assign给自己,对于较大功能修改或bug修复,可先在页面上与其他开发者讨论具体实现思路,确保思路可行并达到统一后再开始编码。


  • Fork https://github.com/apache/incubator-hudi/ 到自己的仓库(可顺手star)。


  • Clone自己仓库的 incubator-hudi到本地。


  • cd incubator-hudi 进入本地项目根目录。


  • git remote add upstream https://github.com/apache/incubator-hudi.gitapache仓库 incubator-hudi添加为 upstream。后续可使用 git fetch upstream master,git merge upstream/master,git push origin master来同步 apache仓库 master分支的修改至自己远程仓库的 master分支,当然也可以选择其他工作流,如将 apache仓库的项目添加为 origin,自己仓库的项目添加为 upstream,同步仓库的修改操作也类似。


  • 基于 Apache仓库的 master分支最新代码, checkout新分支(一般建议根据 jira号创建,如 git checkout-b HUDI-666)。


  • 在新分支上修改代码,完成修改后使用 git add.git commit-m"[HUDI-666] pr description"git push origin HUDI-666:HUDI-666推至自己仓库的远端, commit信息一般建议使用 [HUDI-xxx]jira summary的格式,如 git commit-m"[HUD-666] refactor hudi-common based on new checkstyle"


  • 进入 githubincubator-hudi页面发起一个 PR,然后等待 review(社区会有专人进行 review,效率较高)和 merge

2.3 加入Slack

为方便 Hudi开发者快速交流, Hudi社区创建了 HudiSlackChannel,可在这里https://github.com/apache/incubator-hudi/issues/143留下你的邮箱,会有人邀请你加入 HudiSlackChannel

2.4 订阅邮件列表

为方便归档和符合 Apache社区运行之道,社区建议使用邮件列表讨论问题、进行投票等,可订阅dev@hudi.apache.org(建议尽量不要使用qq邮箱订阅,可能会被过滤掉)。

订阅方式很简单,给dev-subscribe@hudi.apache.org发送一封邮件,收到回复后再进行一次确认回复即可。完成订阅后即可参与和发起在dev@hudi.apache.org的讨论。

3. 总结

Hudi社区非常欢迎和鼓励广大开发者参与到社区建设中来,一起促进 Hudi社区的发展,取之开源、回馈开源,一起促进数据湖技术的发展,期待你的第一个PR!

PS:其他Apache项目的参与流程也大致类似。

目录
相关文章
|
1月前
|
SQL 分布式计算 数据处理
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
52 2
|
1月前
|
存储 SQL 分布式计算
基于Apache Hudi + MinIO 构建流式数据湖
基于Apache Hudi + MinIO 构建流式数据湖
84 1
|
7月前
|
存储 人工智能 数据库
企业级数据湖的构建之道(一)
企业级数据湖的构建之道(一)
87 1
|
16天前
|
存储 人工智能 运维
数据湖建设实践:使用AWS S3与LakeFormation构建灵活数据存储
【4月更文挑战第8天】本文分享了使用AWS S3和LakeFormation构建数据湖的经验。选择S3作为数据湖存储,因其无限容量、高可用性和持久性,以及与多种系统的兼容性。LakeFormation则负责数据治理和权限管理,包括元数据管理、简化数据接入、细粒度权限控制和审计。通过这种方式,团队实现了敏捷开发、成本效益和数据安全。未来,数据湖将融合更多智能化元素,如AI和ML,以提升效能和体验。此实践为数据驱动决策和企业数字化转型提供了有力支持。
20 2
|
1月前
|
消息中间件 监控 Kafka
Yotpo构建零延迟数据湖实践
Yotpo构建零延迟数据湖实践
32 0
|
1月前
|
存储 SQL 分布式计算
使用Apache Hudi构建大规模、事务性数据湖
使用Apache Hudi构建大规模、事务性数据湖
20 0
|
1月前
|
存储 SQL 分布式计算
Apache Hudi在Linkflow构建实时数据湖的生产实践
Apache Hudi在Linkflow构建实时数据湖的生产实践
40 0
|
1月前
|
存储 分布式计算 分布式数据库
字节跳动基于Apache Hudi构建EB级数据湖实践
字节跳动基于Apache Hudi构建EB级数据湖实践
27 2
|
1月前
|
SQL 关系型数据库 MySQL
Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
145 0
|
1月前
|
存储 SQL 数据管理
字节跳动基于Apache Hudi构建实时数据湖平台实践
字节跳动基于Apache Hudi构建实时数据湖平台实践
49 0