亲爱的社区小伙伴们,历时数月,我们很高兴地宣布,ChunJun 即将迎来 1.16 Release 版本的正式发布。在新版本中,ChunJun 新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有17位Contributor 为 ChunJun 提交了多项优化和修复,感谢因为有你们才让 ChunJun 变得更好!
ChunJun 1.16 版本目前已经发布到master,需要试跑一个月再发布 release 版本。在 1.16 版本中,我们整理了项目 maven 依赖,优化了 FTP、JDBC 插件,增加了 Iceberg、Nebula 插件,对 ChunJun 的易用性、稳定性、高效性等各个方面进行了全面加强,欢迎大家使用体验。
体验地址
Github:
https://github.com/DTStack/chunjun
Gitee:
https://gitee.com/dtstack_dev_0/chunjun
社区官网:
https://dtstack.github.io/chunjun/
ChunJun 1.16 版本
重要更新
· 框架整体依赖的 Flink 版本升级至 1.16.1,维表插件依赖原生接口,在使用层面更加统一。
· 细化 github ci/cd 的 work flow 流程,保证开源版本代码质量。
· 整理项目 maven 依赖,减少类冲突的可能,同时使项目依赖更加清晰。
· 优化 FTP 插件,提升 FTP 同步性能。
· 优化 JDBC 插件,提升 JDBC 同步性能。
· HBase 插件增加 TTL 超时时间。
· 增加 Iceberg 写入插件。
· 增加 Nebula 插件,支持读取、写入、维表功能。
· HTTP 插件支持 data 数组。
· SQL 支持运行 Batch 模式。
问题修复
· 修复 client 端提交 k8s 任务时的异常。
· 修复维表在找不到数据时直接抛出异常的情况。
· 修复在 windows 环境下打包时,sh 脚本中换行为 \r,会导致在 linux 下运行示例脚本时异常。
· 修复 HBase 插件在类型转化为 INT 时的异常。
· 修复 Flink CDC 在 SQL 模式下的运行异常。
· 修复 Orc 文件无法读取 Timestamp 字段的异常情况。
· 修复 Mongodb 常量异常。
捉虫活动 · 找 bug
ChunJun 1.16 发布到 master 以来,社区小伙伴陆陆续续提出了一些相关的问题。由于升级初期测试验证的场景覆盖不全,需要更多人的力量一起来帮忙验证,发现和修复问题,同时1.12 上也仍然存在一些常见的使用问题。
因此 ChunJun 社区决定广发英雄帖,邀请各路捉虫达人,一起帮助 ChunJun 在稳定性上更上一层楼。我们也将送出智能音箱、星巴克礼品卡、蓝牙耳机等多项好礼作为报答。
活动报名
将你使用 ChunJun 过程中遇到的 bug 提交到以下地址,提交的 issuse 和 pr 符合社区规范,且被验证确认即可获得丰厚奖励。
到 ChunJun 提交 issuse:
https://github.com/DTStack/chunjun/issues
到 ChunJun 提交 Pr:
https://github.com/DTStack/chunjun/pulls
活动规范
issue 不强制要求中英文,但是 Pr commit 强制要求为英文。
issue 规范:
· 问题描述清晰准确,上下文详细,包含具体的版本号/分支、提交参数、任务模式等,如果可以,请带上具体的任务脚本;
· 异常信息及堆栈信息完整;
· 包含详细清晰的复现步骤。
Pr 规范: · Pr 内描述清楚设计思路及解决了什么问题,如果有必要,请开一个 issue 将问题描述清楚; · Commit 信息完整且清晰,且为英文; · 新增方法、修改方法需要尽可能补充单测; · 新增插件需要补充文档,使用案例,尽可能补充 e2e 测试。
活动范围&时间
活动范围:
ChunJun 1.12 以及之后版本(包含即将发布的 1.16)
活动时间:
2023年3月1日-2023年3月31日
活动积分
本次捉虫活动采用积分赛制,bug 提交人将获得不同的积分。
提交一个issuse:5积分
提交一个pr:15~30积分(以5分为一档,以影响范围、完整性及复杂度三个维度进行评判)
活动礼品
本次活动获得 bug 积分可用来兑换精美礼品。
• 盲盒 * 1个:20个积分
• 水杯 * 1个:30个积分
• 三合一数据线 * 1个:40个积分
• 蓝牙耳机 * 1个:60个积分
• 星巴克礼品卡 * 1张:80个积分
• 智能音箱 * 1个:120个积分
注:ChunJun 社区对本次活动有最终解释权
特别鸣谢
感谢对本次版本发布提供支持和帮助的社区朋友们,正是因为有你们的贡献,才有 ChunJun 1.16 版本的问世,再次对你们表达最真诚的谢意。
以下为参与本次版本发布的人员名单,他们分别是(首字母排序):
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szalykfz
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术 qun」,交流最新开源技术信息,qun 号码:30537511,项目地址:https://github.com/DTStack