问题一:Flink CDC增量只能是1,但是binlog数量很大 延迟到小时级别 有什么建议吗?
Flink CDC增量只能是1,但是binlog数量很大 延迟到小时级别 有什么建议吗?
参考答案:
如果这么大的话,适当调整下debezium的采集数据大小,flink单并行度处理这些数据,还是easy的,是不是上游采集的太慢造成的问题。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579920
问题二:Flink CDC全量是要等读取完所有才能完成checkpoint吗?
Flink CDC全量是要等读取完所有才能完成checkpoint吗?
参考答案:
Flink CDC在进行全量数据摄取时,对于首次启动或需要进行全量同步的情况,通常会有一个初始的快照阶段,该阶段需要将目标数据库中的所有数据一次性读取完毕并传递到Flink作业中进行处理。在这个过程中,Flink作业会暂停定期的增量checkpoint,直到全量数据加载完成。
一旦全量数据读取处理完毕并且所有数据已经被Flink作业正常处理并进入状态后端,此时才会触发一个完整的checkpoint。这意味着在全量阶段,checkpoint确实是需要等待所有全量数据读取及处理完成之后才能成功完成。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579919
问题三:Flink CDC单表发现修改并行度后source和sink端都是1,是只能为1还是可以修改?
Flink CDC单表发现修改并行度后source和sink端都是1,是只能为1还是可以修改?
参考答案:
增量阶段只能为1,source,如果表数据量大一点,上亿数据有试过么
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579918
问题四:Flink CDC中flink sql同步数据,有知道可以排除delete操作吗,需要配置点啥的 ?
Flink CDC中flink sql同步数据,有知道可以排除delete操作吗,需要配置点啥的 ?
参考答案:
debezium.skipped.operations = 'd'
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579917
问题五:Flink CDC1.16版本,从oracle同步到kafka,请问你们怎么解决的?
Flink CDC1.16版本,从oracle同步到kafka,kafka的配置信息如下:报这个错误:Caused by: org.apache.kafka.common.errors.InvalidProducerEpochException: Producer attempted to produce with an old epoch.请问你们怎么解决的?
小数据量表就没有问题,大数据量表10亿就复现了这个问题
参考答案:
我之前使用精确一次语义也报这个,后面索性改成至少一次语义了,下游去做幂等
关于本问题的更多回答可点击进行查看: