倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 2022 是 ChunJun在技术长廊中探索和成长的第四个年头,悄然度过了自己的 “孩提 “时光。2022,我们相继完成了核心数据还原功能框架、数据还原支持中间处理/DDL自动转换、框架支持全量增量实时同步等功能。目的只有一个:「希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架」。现在,让我们倒带 2022,展望2023,和一直以来关注ChunJun开源社区的朋友聊聊过去、未来……

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。

项目地址:https://github.com/DTStack/chunjun

ChunJun 项目进展

Star数:3437                  Fork数:1556

Issue Closed:764         PR Cloesd:523

Contributors:68           Commits:5147

ChunJun 内容输出

视频课程:共计15课

涵盖直播课程、入门指南、解决方案等方方面面

精品文章:共计18篇

带你快速了解chunJun

技术社群:3898人

已成为大量开发者及大数据爱好者的交流学习平台

ChunJun 奖项荣誉

入选Gitee最有价值开源项目——GVP

image.png

2022 ChunJun大事记

送虎岁,迎兔年,值此除旧迎新之际,想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展:

2022年2月22日

沉淀了团队六年来在数据同步和集成方面的实践经验,技术团队决定对FlinkX进行整体升级,并更名为ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年5月28日

ChunJun社区第一次会议,讨论当前第一个版本的roadmap规划,首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数,让用户快速启动;增加 Docker 部分,用户直接下载Docker 镜像,开箱即用等。

2022年6月25日

开源小伙伴贡献的官网内容正式发布。

官网地址:https://dtstack.github.io/chunjun/

2022年7月9日

ChunJun社区第二次会议,讨论当前第二个版本的roadmap规划。

2022年9月18日

ChunJun社区第三次会议,讨论当前第三个版本的roadmap规划,调整 pr review & merge 规范和流程。

2022 ChunJun活动

2022年8月27日

联合OceanBase社区主办开源线下Meetup,发布基于Oceanbase 的离线插件和cdc 插件,并推出联合方案

image.png

2022年9月24日

参与Hadoop MeetUp,分享ChunJun在实时采集上的功能和新特性。

image.png

2022年10月29日

联合举办 COSCon'22 开源年会杭州分会场,分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。

image.png

2022 ChunJun精品课程

2022年4月27日

课程:ChunJun支持异构数据源DDL转换与自动执行

视频链接:https://sourl.cn/i9CzDP

2022年6月27日

课程:ChunJun数据还原-DDL功能模块解析

视频链接:https://sourl.cn/ffwtMc

2022年7月6日

课程:ChunJun同步Hive事务表

视频链接:https://sourl.cn/fbaWgD

2022年8月19日

课程:ChunJun数据传输模块介绍

视频链接:https://sourl.cn/iLY7vn

2022年9月22日

课程:ChunJun类加载原理与实现

视频链接:https://s.r.sn.cn/WCWURr

2022年12月9日

课程:ChunJun数据安全之Kerberos介绍

视频链接:https://s.r.sn.cn/Nix84z

2022 ChunJun研发进展

共发布七个版本:

V1.12.1

· 核心数据还原功能框架开发完成,增加了binlog/logminer 对 DDL 的监听处理;

· 丰富插件,添加Doris 插件;

· 添加ChunJun 对 Flink python udf 的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.2

· 丰富插件, 添加 inceptor插件;

· 丰富插件,添加 influxdb插件;

· 代码优化,使用插件 spotless-plugins强制对代码风格进行检查;

· es 插件优化,支持 ssl模式;

· gbase 插件优化,支持 update模式;

· k8s 模式下添加对 application mode支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.3

· 丰富插件, 添加 starrocks插件;

· 增量同步支持 datetime类型;

· SQLserver cdc增加对数据类型 smallint的支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.4

· 丰富插件,添加 oceanbase插件;

· 数据还原功能加强,添加中间数据存储,避免数据丢失;

· 项目名称调整,从 FlinkX修改为 ChunJun;

· 插件优化,调整 inceptor插件的读取方式,从原来的 jdbc调整为直接读取文件;

· 插件优化,pg读取插件支持 Array类型;

· 增加对 protobuffer format的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.5

· 数据同步 jdbc分片优化,添加对 range mode的支持,原先只支持 mod模式分片;

· 易用性提升,添加内置提交脚本,在不同模式下任务提交需要传入的参数,只需要传递 -job和 -confProp即可;

· ChunJun增加一个模块,准备用于发布安装包;

· 稳定性提升,修复ChunJun 15+ bug。

V1.12.6

· 优化 ChunJun数据同步的序列化方式;

· ChunJun 添加新的官网,方便社区同学了解阅读文档及技术方案;

· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis读取插件;

· docker模式的支持,并添加执行脚本和文档;

· jdbc 插件增强,添加在执行前检查 dbconn;

· hbase 插件优化和重构,支持 transformer;

· ChunJun 工程支持E2E 功能;

· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储;

· 稳定性提升,修复ChunJun 30+ bug。

V1.12.7

· 优化 jdbc base模块,添加对列信息的初始化功能

· 优化 ftp读取性能,添加对大文件切片的支持;

· hdfs 插件优化,支持 hadoop3.x 版本 orc读取;

· e2e 功能丰富,添加 ftp container;

· es7 插件优化,支持 type关键字;

· 稳定性提升,修复ChunJun 30+ bug。

2023年的ChunJun

ChunJun未来规划

· 依赖 Flink版本升级到1.16;

· ChunJun 提供Rest api 的server 服务,简化ChunJun 集成的难度;

· ChunJun 添加数据还原DDL支持Iceberg、Hudi。

兔年祝福

2022年,感谢 ChunJun社区小伙伴们的大力支持,ChunJun走的每一步都离不开你们的帮助,2023年,我们继续交流,一起进步。

也祝福大家在新的一年里兔飞猛进,快乐,幸福~💗


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szalykfz

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术 qun」,交流最新开源技术信息,qun 号码:30537511,项目地址:https://github.com/DTStack

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
存储 前端开发 JavaScript
前端菜单及按钮权限拦截,实现方案及思路
此实现方案基于vue框架,并需要依赖vue项目相关的库,router、store等等;前端同学要与后端同学协商,常规是让后端返回一个树结构的菜单数据,并且将所有的涉及权限控制的页面path给到后端,如果是按钮,需要把所有的按钮 code 码统一下,这是前期工作,很重要。
|
关系型数据库 MySQL Linux
docker-compose 部署 MySQL 8
docker-compose 部署 MySQL 8
|
自然语言处理 索引
技术写作最佳实践与策略指南
作为一名技术写作者,遵守既定的最佳实践有助于确保您的工作的一致性、清晰性和整体质量。一些常见的最佳实践包括: 始终考虑受众: 牢记用户视角编写内容。确保技术术语、语言和复杂程度与您的目标读者相匹配。 逻辑地组织内容: 将材料分为章节、子章节、项目符号列表和表格。使用标题帮助读者浏览内容。 必要时使用图表和图像: 视觉辅助工具通常可以提高对复杂概念或过程的理解。 写出清晰简洁的句子: 避免使用读者可能不明白的模糊信息和术语。始终追求可读性。 编辑、编辑、编辑: 校对您的工作,纠正语法和拼写错误,并确保信息准确且最新。 遵循这些最佳实践可以提高您的技术写作效率,并确保您的受众能够轻松理
1380 0
|
弹性计算
阿里云服务器采用AMD CPU处理器ECS实例规格大全
阿里云有AMD服务器吗?有的,阿里云百科分享阿里云服务器ECS实例采用AMD处理器的规格大全
682 0
阿里云服务器采用AMD CPU处理器ECS实例规格大全
|
资源调度 前端开发 数据可视化
最好用的 5 款 React 富文本编辑器
富文本编辑器常用于网络上各种形式的内容展示,从简单的静态博客到复杂的内容管理系统。它应用于多种应用程序,如博客、文章、列表以及更强大的界面 —— 电商网站商品详情和博客上的。然而,从这么多功能各异的编辑器中挑选出一个合适的并不容易。我测评了 5 款 React 富文本编辑器,比较了他们编辑器的核心功能, 希望我的测评可以帮你找到最合适你应用场景的编辑器。如果你完全不会前端,也不用担心,可以使用卡拉云,仅需简单拖拽即可生成「富文本」编辑器,卡拉云帮你快速搭建属于你自己的应用程序,详见本文文尾。
3311 0
|
Oracle 网络协议 算法
|
3天前
|
云安全 数据采集 人工智能
古茗联名引爆全网,阿里云三层防护助力对抗黑产
阿里云三层校验+风险识别,为古茗每一杯奶茶保驾护航!
古茗联名引爆全网,阿里云三层防护助力对抗黑产