暂无个人介绍
建议是一个实例一个同步任务,不要放在一个job。作业失败修复的代价会很大。如果你的上游不统一,那就暂时适配下。也可以写到kafka,然后你统一拉kafka。source只管拉和时区处理,kafka才是你真正的处理层。时区是按照实例的,不是按照表。只需要处理实例就行 mysql ->kafka kafka ->flink-sink。不是。sourcebuilder .set时区就行,默认是utc。是的,mysql不是utc,你现在按照utc来匹配不对的,你要按照mysql的时区来拿数据。28800 seconds 刚好是8小时。只需要针对下不是utc时区的改下代码就行,最简单也是最好的办法就是上游改时区。此回答来自钉群Flink CDC 社区。
参考:
https://github.com/apache/flink-connector-rabbitmq
。此回答来自钉群Flink CDC 社区。
pod删了,ckp如果保存的不是远程地址被删除是正常的。一般都是存对象服务里面。mysql的普通实例写入能力是有限的,你再加东西也不见得能变快。此回答来自钉群Flink CDC 社区。
如果只是仅仅保证最新一条数据的话,我觉得还不如直接一个topic一个分区一个并行度,更新写,当然如果数据量大,可以并发写多个字段,每个并行度写一个,然后取多个字段的最新的数据再合并,这个只是我的思路,因为我不知道你具体想要做啥,但是有主键就可以,不过还是要看你们底层的数据库是啥,我们是doris 可以这么干。此回答来自钉群Flink CDC 社区。
要开启checkpoint。此回答来自钉群Flink CDC 社区。
没有开启CK吧。此回答来自钉群Flink CDC 社区。
全量不是读的binlog,采用的无锁读取算法,可以看一下相关的文档。此回答来自钉群Flink CDC 社区。
参考图片:此回答来自钉群Flink CDC 社区。
表没主键。此回答来自钉群Flink CDC 社区。
能啊,RowData数据的getRowKind()方法能得到操作类型。此回答来自钉群Flink CDC 社区。
3.1支持,你可以把代码复制到3.0.1然后重新打个mysql-pipeline包就行。自己开个3.0.1的分支,把相关pr的代码cv到3.0.1,重新打个jar就行。自己fork一下源仓库。此回答来自钉群Flink CDC 社区。
看起来像是 pekko超时。3.1会修复,
https://github.com/apache/flink-cdc/pull/3128
。此回答来自钉群Flink CDC 社区。
doris的没有primary表,unique相当于主键表。此回答来自钉群Flink CDC 社区。
图数据库。此回答来自钉群Flink CDC 社区。
pipeline方式先拿所有schema然后过滤出a库的信息的。.是需要转义, a..。此回答来自钉群Flink CDC 社区。
自动重启从ckp,手动重启自己选择sp。ckp 是系统做的,sp是手动做的。手动也可以从ckp启动,前提是你保存了,默认不保存的。此回答来自钉群Flink CDC 社区。
配置不对。数据库是pdb还是cdb,这两种配置有点区别。还不行的话你只能去打断点调试了。此回答来自钉群Flink CDC 社区。
不是不支持,高斯db是基于pgsql魔改的,或许你试试魔改或者debezium什么时候支持。参考
https://gitee.com/opengauss/debezium
。此回答来自钉群Flink CDC 社区 。
flink cdc 不支持从mysql到pg的表结构同步。也不支持pipeline。结构不一样,请看下jdbc连接器对应的data type mapping。此回答来自钉群Flink CDC 社区 。
不支持。此回答来自钉群Flink CDC 社区 。