Flink CDC 2.0 支持全量故障恢复,可以从 checkpoint 点恢复。

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 【2月更文挑战第17天】Flink CDC 2.0 支持全量故障恢复,可以从 checkpoint 点恢复。

Flink CDC 2.0 支持全量故障恢复,可以从 checkpoint 点恢复。

在 Flink CDC 2.0 中,每个 source 都会有一个对应的 changelog topic,用于记录该 source 的所有变更信息。当发生故障时,Flink CDC 2.0 会从最近的 checkpoint 点开始消费 changelog topic 中的消息,将数据恢复到故障前的状态。

具体来说,Flink CDC 2.0 的全量故障恢复过程如下:

  1. Flink CDC 2.0 会在每个 source 上启动一个 ChangelogReaderThread,用于读取该 source 的 changelog topic。

  2. 当发生故障时,Flink CDC 2.0 会从最近的 checkpoint 点开始消费 changelog topic 中的消息。

  3. ChangelogReaderThread 会将消费到的消息发送给对应的 source task,以更新其内部的状态。

  4. Flink CDC 2.0 会等待所有 source task 都完成状态更新后,才会认为全量故障恢复完成。

需要注意的是,Flink CDC 2.0 的全量故障恢复需要保证 changelog topic 中的消息是有序的。如果消息无序,可能会导致数据丢失或者重复处理。因此,在使用 Flink CDC 2.0 时,需要确保 changelog topic 中的消息是有序的。

Flink本身提供了Json解析器,可以将Json数据解析到表结构中。但是,对于复杂的Json数据,可能需要自定义解析逻辑或者使用第三方插件来解析。

目前比较常用的Json解析插件有:

  1. json-simple:一个轻量级的Json解析库,可以方便地将Json数据转换为Java对象。

  2. Jackson:一个流行的Json解析库,支持将Json数据转换为Java对象、XML和CSV等格式。

  3. Gson:一个由Google开发的Json解析库,可以将Json数据转换为Java对象和POJO类。

这些插件都可以通过Flink的Table API或者SQL API来使用。具体使用方法可以参考官方文档或者相关教程。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
1月前
|
消息中间件 Java Kafka
Flink CDC 在外部查询某个 job 中的表数据
【2月更文挑战第27天】Flink CDC 在外部查询某个 job 中的表数据
44 5
|
1月前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
52 3
|
1月前
|
自然语言处理 Java Scala
Flink CDC产品常见问题之大文件整库同步怎么解决
Flink CDC产品常见问题之大文件整库同步怎么解决
|
1月前
|
消息中间件 Kafka 流计算
如果有多个版本的Flink CDC在同一环境中运行,可能会导致Debezium版本冲突
【2月更文挑战第30天】如果有多个版本的Flink CDC在同一环境中运行,可能会导致Debezium版本冲突
20 2
|
1月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1421 1
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
1月前
|
Java 关系型数据库 MySQL
Flink CDC有见这个报错不?
【2月更文挑战第29天】Flink CDC有见这个报错不?
23 2
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
|
2月前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
484 5
|
1月前
|
SQL Java API
官宣|Apache Flink 1.19 发布公告
Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。
1358 1
官宣|Apache Flink 1.19 发布公告
|
1月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
145 3