问题一:Flink CDC我这里多出来的10G是怎么回事?
Flink CDC我这里多出来的10G是怎么回事?
参考回答:
看看并行度
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572309
问题二:请问这种flinksql多流join,left右边任意一张表数据到后,是否都会更新test中对应的数
insert into test
select
en.contentId,
fa.name,
fa.inpoint,
cs.out
from kafka_ods_source1 cs
left join kafka_ods_source2 fa on fa.cid=cs.cid and fa.In=cs.in and fa.Out=cs.out
left join kafka_ods_source3 en on en.cid=cs.cid
请问这种flinksql多流join,left右边任意一张表数据到后,是否都会更新test中对应的数据呢?目前发现kafka_ods_source3表数据到后,test中对应字段好像没自动更新
参考回答:
多流join都会触发计算
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572307
问题三:Flink CDC如果库里面存在无主键表的话就直接把作业kill掉了?
Flink CDC监控的表配置的是database.* ,如果库里面存在无主键表的话就直接把作业kill掉了?flink cdc没法做到忽略异常,不杀死作业吗?
参考回答:
你自己判断不出来的话,无法屏蔽无主键表
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572303
问题四:Flink CDC读取sqlserver的update,这个要怎么解决?
Flink CDC读取sqlserver的update,输出到kafka的消息op标志只有c,这个要怎么解决?困扰了比较久,读取mysql会是两条消息,一条d,一条c
参考回答:
这个问题可能是由于Flink CDC在处理MySQL的UPDATE操作时,没有正确识别到变更数据。为了解决这个问题,你可以尝试以下方法:
- 确保你的MySQL表有一个唯一的主键或者唯一索引,这样Flink CDC才能准确地识别出哪些行发生了变更。
- 检查你的MySQL表是否有触发器或者其他外部操作,这些操作可能会影响Flink CDC的读取结果。如果有,请确保这些操作不会影响数据的一致性。
- 尝试使用不同的Flink CDC版本,看看是否能解决问题。有时候,不同版本的Flink CDC可能存在一些已知的问题。
- 如果以上方法都无法解决问题,你可以考虑使用其他工具(如Debezium)来替代Flink CDC,因为Debezium对MySQL的支持可能更好。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572301