问题一:为啥Flink CDC出来的数据是这种啊 源表是utf8编码 sink到holo也是utf8编码 cdc读的mysql的binlog为啥会出现这种数据 需要转换成啥格式才行啊?
家人们 为啥Flink CDC出来的数据是这种啊 源表是utf8编码 sink到holo也是utf8编码 cdc读的mysql的binlog为啥会出现这种数据 需要转换成啥格式才行啊?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/514190?spm=a2c6h.14164896.0.0.eb8dd9dfbHD5jL
问题二:FlinkCDC 不也需要部署Flink集群才能充分发挥作用莫,直接部署?
大佬这句话是对的莫,FlinkCDC 不也需要部署Flink集群才能充分发挥作用莫,直接部署Flink CDC是啥意思呢?
flinkcdc就是flink 只是集成了数据采集源
参考回答:
过去补货数据是通过debezium之类的打入kafka,然后flink再接入kafka来消费变更数据,现在你不需要部署额外的debezium,直接flink接入db就行,flink-cdc依赖于flink
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516021?spm=a2c6h.14164896.0.0.eb8dd9dfbHD5jL
问题三:flink cdc这种报错是数据源连接问题吗?
请教一下,flink cdc这种报错是数据源连接问题吗?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/501122?spm=a2c6h.14164896.0.0.7da2d9dfO7uvPJ
问题四:Flink CDC 使用datastream api同步数据到jdbc数据库时,中间需要把源库binlog数据转成jdbc库的对应SQL,这个需要自行实现,还是有内置呢?就是jdbc连接器。jdbc连接pgsql
请教大佬:Flink CDC 使用datastream api同步数据到jdbc数据库时,中间需要把源库binlog数据转成jdbc库的对应SQL,这个需要自行实现,还是有内置呢?就是jdbc连接器。jdbc连接pgsql
参考回答:
jdbc数据库?你说的应该是jdbc协议的连接的数据库吧,自己写序列化转吧,中间过程需要自己单独写逻辑处理https://blog.csdn.net/qq_36062467/article/details/128117647参考这个
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/510844?spm=a2c6h.14164896.0.0.7da2d9dfO7uvPJ
问题五:Flink CDC这个源表更新或者插入数据sink表为啥没有更新啊
大佬能看下Flink CDC这个源表更新或者插入数据sink表为啥没有更新啊
本地测试需要开checkpoint吗,是row格式的,不需要设置checkpoint,我百度设置'debezium.snapshot.mode' = 'initial' 就行了,这个参数好像需要设置,为啥这个参数影响这么大呢,怎么设置先全量,然后再增量呢,我现在有个场景,有100张表,我想先用spark或者presto计算这个100个表,然后用flink从我计算的点开始增量计算,或者有什么好的办法吗,线上分了100张表,我需要实时计算100张表到一个宽表
参考回答:
首先确认binlog日志是否开启,检查checkpoint是否设置,binlog日志的设置是否为flinkcdc要求的配置方式,当然,好的,那你是没加同步模式,这是必须指定从哪儿开始同步数据,也就是说是全量还是增量同步,你目前现在用的就是全量,全量同步完后续后续进来的数据就是增量
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/505499?spm=a2c6h.14164896.0.0.7da2d9dfO7uvPJ