开发者社区大数据与机器学习实时计算 Flink 正文

debezium初始化快照是全局读锁或者表锁，flink cdc又说是无锁读，这块如何理解?

debezium初始化快照是全局读锁或者表锁（另一种说法是仅限制DDL就行），而 flink cdc又说是无锁读，这块如何理解?

展开

收起

滴滴滴~ 2023-03-29 17:18:07 478 版权

1 条回答

写回答

取消提交回答

凌云Cloud

发表文章、提出问题、分享经验、结交志同道合的朋友
我的理解是Debezium 和 Flink CDC 的是两种不同设计思路。
- Debezium，初始化快照是使用全局读锁或表锁实现的，包括 DDL 和 DML，它会获取锁来确保快照的准确性，并在快照完成后释放锁。这种方式虽然能够确保数据的完整性，但可能会对数据库的性能产生一定的影响。
- Flink CDC，初始化快照是使用无锁读实现的，该方式仅限制了 DDL 的执行，而不会对 DML 的执行产生影响。这种方式虽然可能会导致一些数据的缺失或重复，但可以提供更高的性能和更低的延迟。
2023-03-30 09:36:07

赞同展开评论

问答分类：

SQL 流计算实时计算 Flink版

问答标签：

实时计算 Flink版CDC 实时计算 Flink版快照实时计算 Flink版初始化实时计算 Flink版debezium debezium实时计算 Flink版cdc

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

Flink-CDC 2.4.0版本增量快照模式不生效

flink的sink算子，一直都有部分task处于初始化阶段，但是如果用print打印则能正常运行

flink-cdc支持 postgre的增量快照吗？

flink cdc现在大表的初始化全量同步，还是只能把checkpoint时间设置长点吗？

Flink CDC 2.2 版本支持哪些新数据源，兼容哪些 Flink 版本，提供了什么增量快照读取

在Flink作业提交过程中，上下文初始化包括哪些步骤？

flink cdc 读mysql 写进kafka，在执行一段时间后，任务就一直出于初始化状态？

在Flink CDC中，初始化集群之前，这部分做了吗？

在Flink CDC中，无锁的增量快照，等指标没输入数据stop job，这个咋实现？配置参数吗？

在Flink CDC中，快照阶段也需要记录binlog的？

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199210

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

Dataphin功能Tips系列（44）-实时任务调优

Dataphin功能Tips系列（46）-实时研发任务在session调试和运行时资源分配上的区别

Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

Dataphin功能Tips系列（49)-审计日志导出

微信基于 StarRocks 的实时因果推断实践

debezium初始化快照是全局读锁或者表锁，flink cdc又说是无锁读，这块如何理解?

实时计算 Flink

相关文章

热门讨论

热门文章