问题一:Flink CDC rabbitmq sql 这个链接器是不是很少人用的?
Flink CDC rabbitmq sql 这个链接器是不是很少人用的? 资料很少的
参考回答:
嗯
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567394
问题二:Flink CDC按照您之前说的分片等于并行度,另外我试了一下,也不行?
Flink CDC按照您之前说的分片等于并行度,我查了那个表的分片大概是16个分片,感觉这样那岂不是就是要16个并行度,另外我试了一下,也不行?我是1.13.2,是不是因为这个原因?
参考回答:
增量快照和flink版本没太大关系,1.13也比较旧了,后续不再维护了,cdc后面看介绍只维护三个版本,这个日志显示的是你自己机器挂了啊,和flink-cd没关系啊,你集群机器挂了,你自己集群问题,自己排查
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567393
问题三:我用的Flink1.7,CDC版本2.3的,有没有的类似代码给一个,看看是不是哪里配置少了?
我用的Flink1.7,CDC版本2.3的,这种initial模式理论上是第一次同步全量数据,后面如果再启动,只要flink保存了checkpoint,里面应该有程序停止前的scn位置吧,下次启动不会再全量读了,从上次的scn开始读,有没有的类似代码给一个,看看是不是哪里配置少了?
参考回答:
对不起,我之前的回答可能有误。Flink CDC的Initial Mode确实是在启动时会进行一次全量同步,无论是否有Checkpoint。这是因为Initial Mode的设计目标就是一次性地将所有的数据加载到State中,以便后续的增量处理。
如果你希望在后续的启动中能够从上次停止的地方继续读取,你可能需要使用Flink CDC的Incremental Mode。在Incremental Mode中,Flink CDC会根据Checkpoint中的位置信息,从上次停止的地方继续读取。
然而,Flink CDC的Incremental Mode目前只支持MySQL和PostgreSQL,对于Oracle的支持还在开发中。此外,Incremental Mode的使用也需要一些额外的配置,例如需要设置TableSchemaHistoryRetentionTime,以便Flink CDC知道从哪里开始读取。
对于你的需求,我建议你可以考虑使用Flink CDC的Incremental Mode,并在启动任务之前,手动地将Checkpoint中的位置信息设置为上次停止的地方。这样,你就可以实现在后续的启动中能够从上次停止的地方继续读取的目标。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567392
问题四:Flink CDC你们用这种initial的方式,第一次启动job,有遇到这个问题吗?
Flink CDC你们用这种initial的方式,第一次启动job,从数据库全量读取数据后,中间服务停止了,下次再启动,又会重新全量读一次数据,设置了checkpoint没起作用,有遇到这个问题吗?
参考回答:
这种情况不少, 原因有很多情况, 我就碰到过数据库日志被删了, 抛scn找不到了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567382
问题五:您好 可以发下您那边Flink CDC除了敏感消息的所有配置一项吗?
您好 可以发下您那边Flink CDC除了敏感消息的所有配置一项吗?我这边加了还是读取不到增量数据
参考回答:
当您使用Flink CDC读取增量数据但未能成功时,可能的原因有很多。首先,请确保已正确安装Flink并配置了MySQL数据库。其次,需要理解Flink CDC的基本工作原理:全量同步是将所有数据作为初始状态写入到Flink的数据源中,而增量同步则是监控MySQL数据库的binlog并将其中的增量数据实时同步到Flink的数据源中。
对于增量读取的配置,可以调整MySQL Source端的并发,加快全量读取的速度。在MySQL CDC从全量读到增量读的切换时,如果全量读是多并发的,那么在进入增量前要多等待一个Checkpoint,以确保全量的数据已经正确写入到下游后再读取增量数据。
此外,还需要检查Flink CDC的连接器配置是否正确,包括但不限于数据库的URL、用户名、密码、表名等。同时,确认Flink程序中的序列化和反序列化类是否与连接器中的类相匹配。如果以上步骤都正确无误,应能够正常读取到增量数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567381