1
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。Flink CDC是一种基于数据库日志的Change Data Capture技术，可以实现全Flink CDC是一种基于数据库日志的Change Data Capture技术，可以实现全量和增量的一体化读取能力。其主要工作原理是通过主动查询和事件接收两种方式来捕获并处理数据库中的变更数据。
在主动查询模式中，通常会在数据源表的某个字段中保存上次更新的时间戳或版本号等信息，然后通过不断的查询与上次的记录进行对比，来确定数据是否有变动，进而决定是否需要同步。
在事件接收模式中，Flink CDC会基于MySQL的binlog来实现数据的实时同步。即无论数据库进行了何种操作，只要binlog正常生成，Flink CDC就能够找到对应的增量数据，并将其实时同步到下游存储。
2023-12-11 16:41:57赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
实时计算 Flink
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
flink怎么能够快速消费kafka数据，需要设置什么参数呢？
1020
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
2989
flink 消费kafka,之前任务正常的，突然有个分区没法消费了，重启下任务久正常了？
613
请问flink cdc sql中如何将一个json格式字符串转换成格式？
293
Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
1435
Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
1194
不同版本的 flink 如何适配不同版本 kafka，flink-connect-kafka 版本
706
Caused by: org.apache.kafka.common.errors.TimeoutE
2841
flink1.15启动后无法访问webui的问题有人遇到过吗
10590
请教下，finksql 这个statettl 哪里设置
1382
展开全部
权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
24251
OPPO数据中台之基石：基于Flink SQL构建实数据仓库
21820
流计算StreamCompute
18628
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
23093
Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
16550
为什么说流处理即未来？
9943
实时欺诈检测（风控）
5250
修改代码150万行！与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更？
4148
必看！Apache Flink 运维&实战系列直播，揭秘生产环境技术难点
3761
SQL 开发任务超 50% ！滴滴实时计算的演进与优化
2317
展开全部
