【百问百答】Flink CDC 数据源问题合集
1、请问Flink CDC可以在一个作业里面将数据源的不同数据以某种自定义规则同步到不同的hive库里？
2、请问Flink CDC同步postgresql全量数据时，如果源表发生了修改，全量期间的修改？
3、请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢，目前我是每条数据操作后会释放，但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题，您遇到过吗？
4、Flink CDC中今天在同步数据时报这个数值不匹配的问题，能给指导下这是哪块儿的问题么？源mysql 目标:starrocks
5、Flink CDC如何提高下游的消费能力？ 我现在insert table 下游的算子已经红
6、Flink CDC中大佬们遇到数据源是Posegresql 主从集群，报一下错有遇到的吗？
7、请教一下， flink oracle cdc ， job启动可以获取全量源表数据， 但是源表执行?
8、 Flink CDC中自定义redis数据源，定时扫描key，然后供下游使用， 请问下多并行度意义不大吧 ？
9、，Flink CDC中我两个job里分别是不同的mysqlcdc源，两个源的表结构是一样的？
11、 为啥Flink CDC出来的数据是这种啊 源表是utf8编码 sink到holo也是utf8编码 cdc读的mysql的binlog为啥会出现这种数据 需要转换成啥格式才行啊？
12、FlinkCDC 不也需要部署Flink集群才能充分发挥作用莫，直接部署？
15、Flink CDC这个源表更新或者插入数据sink表为啥没有更新啊
16、flink cdc 能捕获数据源DDL变更吗？捕获后是怎么处理的？
17、flink CDC 当第一次全量正常输出后，源表中数据任何变更就无法再被捕获到了，为什么
18、请问flink sql cdc同步同一个mongo数据源到mysql中数据条目正确，但同步是到doris中数据存在很多重复数据 是啥原因？
19、请问flink-cdc数据源是oracle/mysql 目标端是hdfs/doris/mysql.这种长时间增量拉取，能保证数据一致性么
20、对于Flink CDC，基于分片的读取数据源，并行读取，数据库日志，如果 是有新增、有修改、有删除，随机分布在日志里，这样能切分开，并行执行吗，也只通是按顺序 串行执行吧？
21、请问下flink cdc有提供什么手段对比源端和目标端同步数据一致性的方案没?
22、请问 一个flink-cdc 任务 可以连 俩个不同mysql数据源吗？ 二个完全不同的 mysql实例
28、flink cdc mysql源 配置了'debezium.snapshot.mode'='never' ，不起作用，依然会同步全量数据，可能是什么原因呢
30、通过flink cdc写hudi，如果源表比较大，是不是也需要获取全表的数据后才会做checkp
32、请问用flink cdc同步mysql的数据到starrocks，源表与目标表的类型是和mysql一样吗？有类型映射关系表吗？
37、Flink1.10版本的CDC是否支持SQL SERVER作为数据源？
38、flink cdc在抽取oracle全量数据之前会加表级排他锁，由于源端表数量大，在万张以上，锁表时长可能出现不可控的情况，而且对业务影响巨大。有没有方法解决这个问题
39、Flink CDC如何提高下游的消费能力？ 我现在insert table 下游的算子已经红
40、Flink CDC中大佬们遇到数据源是Posegresql 主从集群，报一下错有遇到的吗？
41、请教一下， flink oracle cdc ， job启动可以获取全量源表数据， 但是源表执行?
42、请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢，目前我是每条数据操作后会释放，但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题，您遇到过吗？
43、Flink CDC中今天在同步数据时报这个数值不匹配的问题，能给指导下这是哪块儿的问题么？源mysql 目标:starrocks
44、Flink CDC如何提高下游的消费能力？ 我现在insert table 下游的算子已经红
写回答
-
北京阿里云ACE会长Flink CDC 可以在一个作业里面将数据源的不同数据以某种自定义规则同步到不同的 Hive 库里。
具体来说，您可以通过编写 Flink 程序来实现数据的同步。在 Flink CDC 中，您可以使用 Flink 的 DataStream API 或者 Table API 来编写程序，从而将数据源的不同数据以某种自定义规则同步到不同的 Hive 库里。
例如，您可以使用 Flink 的 Table API 来实现这个功能。具体来说，您可以通过以下步骤来实现：
使用 Flink CDC 读取数据源中的数据，并将数据转换成 Flink 的 Table。
对 Table 进行自定义规则的转换和处理，例如根据某个字段的值将数据分流到不同的 Table 中。
将处理后的 Table 写入到不同的 Hive 表中。
2023-06-16 08:02:50赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
