Apache Doris Flink Connector 24.0.0 版本正式发布

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。

亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本,以便更好的应用。

下载地址:https://github.com/apache/doris-flink-connector/releases/tag/24.0.0

行为变更

  • 将整库同步所依赖的 FlinkCDC 版本升级至 FlinkCDC 3.1.x。由于 FlinkCDC 3.1 及后续版本已捐赠给 Apache 基金会,并与 FlinkCDC 2.4 版本不兼容,因此在升级 Doris Flink Connector 时,已运行的整库同步作业无法从之前的状态重启,需要在将 Flink CDC 升级到 3.1 版本后进行一次无状态重启。具体可参考 Apache Flink CDC 3.1.0 发布公告 兼容性章节。
  • 考虑到上述不兼容性以及与其他 Connector(如 Spark 和 Kafka)版本的一致性,我们将 Connector 版本号更改为 24.x 系列。具体可参考: [DISCUSS] About the next version change of Connector

新增功能

  1. 支持 Flink 1.20
  2. 支持 DB2 的数据库同步
  3. CDC SchemaChange 支持使用 JSQLParser 框架解析 DDL
  4. 支持 Stream Load GZ 压缩导入
  5. 支持通过 Arrow Flight SQL 读取 Doris 中数据

改进提升

  1. 升级 FlinkCDC 版本到 3.1.1
  2. 支持 DB2/Postgres/SQLServer 进行数据同步的 JDBC 参数设置
  3. 优化攒批写入模式
  4. 优化部分 CDC 同步的逻辑
  5. MySQL 整库同步支持 Integer 类型

Bug 修复

  1. 修复 Map 子类型为 Date/Datetime 类型时的读取序列化问题
  2. 修复 FlinkSQL 投影下推的 Bug
  3. 修复 MongoDB 同步 Decimal 类型的问题
  4. 兼容 Doris 修复 arrow 读取 timestamp 类型的问题
  5. CDC 整库同步修复 delete 事件不生效的问题
  6. 修复 Schema Change 默认值空时转换逻辑错误的问题

致谢

在此向参与版本设计、开发、测试、讨论的社区贡献者们表示感谢,他们分别是:

@bingquanzhao

@DongLiang-0

@JasonLeeCoding

@JNSimba@MaoMiMao

@qg-lin@tmc9031

@vinlee19

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
11天前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
379 13
Apache Flink 2.0-preview released
|
16天前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
39 3
|
17天前
|
前端开发 Java API
Apache Seata(incubating) 首个版本重磅发布!
2.1.0 是 Seata 进入 Apache 基金会的第一个 Release Version。此次发布将 io.seata 包名更改为 org.apache.seata。除了按原有的 Roadmap 技术演进外,2.1.0 进行了大量兼容性工作,实现了 API、数据和协议的兼容。用户无需修改原有的 API 和配置,即可实现到 Apache 版本的平滑升级。
Apache Seata(incubating) 首个版本重磅发布!
|
19天前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
21天前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
43 1
|
20天前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
50 0
|
3月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
43 1
|
3月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
181 2
|
3月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
44 3

热门文章

最新文章

推荐镜像

更多