问题一:Flink CDC用DataStream开发任务么?
Flink CDC用DataStream开发任务么?Flink SQL模式和DataStream哪种效率高些?sink写的是自定义的吗?全量和增量的并行度是怎么判断修改的呢?我现在也在用flink做数据同步?
参考回答:
生产没用过flink sql不知道。我只是用flink作为同步工具,自己写的集成,通过配置表去改变库名表名。用途不一样不好说
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570693
问题二:Flink CDC中我昨天提了一个issue,这个会导致flink的内存爆?
Flink CDC中我昨天提了一个issue,从MySQL同步数据到doris,如果MySQL的表的主键有多个列,且第一个列是varchar,且第一个列重复的值非常多,分片成chunk的时候每个chunk的数据就会有很多很多行,有几百万行,这个会导致flink的内存爆?https://github.com/ververica/flink-cdc-connectors/issues/2676 [Bug] flink-connector-mysql-cdc-2.4.2 when a multi-column primary key index starts with a varchar column, a snapshot chunk can potentially return a large number of rows and cause jvm to OOM. #2676
参考回答:
可以指定一个分布较为均匀的列作为chunk列,有参数可以配置
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570692
问题三:Flink CDC中oracle dataguard模式下,有没有cdc备库的方案?
Flink CDC中oracle dataguard模式下,有没有cdc备库的方案?
参考回答:
Flink CDC现在支持从 Oracle 数据库的物理备份中恢复数据,同时也支持从Oracle的 Data Guard 中读取数据。以下是一个基本的 Flink CDC Oracle Data Guard 实现方式:
- 将 Oracle Data Guard 设置为 read-only 模式。
- 安装 Flink CDC connector for Oracle 并启动 job。
- 在 job 中指定 Data Guard 的地址,使用 Oracle CDC Connector 从 Data Guard 中读取数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570691
问题四:Flink CDC有视频链接吗?分享一波学习学习,说这块并行增量这个?
Flink CDC有视频链接吗?分享一波学习学习,说这块并行增量这个?
参考回答:
确实,网上有一些关于Flink CDC的视频教程供您学习。例如,"尚硅谷大数据Flink CDC教程"是一个由16部分组成的视频系列,这个教程从flinkcdc入手,深入剖析了DataStream和FlinkSQL两种使用模式。另外,“黑马程序员”的5小时玩转阿里云Flink视频教程也提供了关于Flink CDC技术的介绍。这些教程都涉及到并行增量读取数据等相关内容,对于理解和掌握Flink CDC非常有帮助。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570689
问题五:Flink CDC如果数据oracle 数据量比较大,是先进行全量同步,分两个job 来执行吗?
Flink CDC如果数据oracle 数据量比较大,是先进行全量同步, 然后再进行增量同步,分两个job 来执行吗?这中间会不会全量同步的时候有些数据已经变动,这部分变动的数据,增量同步的时候可以监听到吗?
参考回答:
你可以看下官方或者B站的原理解析,以前是锁表,现在是增量是同时监控的,有增量会进行合并
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570688