问题一:flink-cdc3.0对flink版本有要求吗。1.17可以吗?
flink-cdc3.0对flink版本有要求吗。1.17可以吗?
参考答案:
参考
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610212
问题二:在Flink针对这种情况,在source那边有什么配置可以解决吗?
我们有一张数据量上千万的mysql表,逻辑删除的数据很多,定期会进行物理删除数据的操作,这样会导致主键不连续且跨度非常大,全量阶段读的很慢,在Flink针对这种情况,在source那边有什么配置可以解决吗?
参考答案:
从监控指标来看currentEmitEventTimeLag和currentFetchEventTimeLag相近,说明源端拉取数据能力不足,同时任务未发现明显反压,可以考虑将source侧的并发调高详情可参考:https://help.aliyun.com/zh/flink/user-guide/metrics?spm=a2c4g.11186623.0.i10
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610211
问题三:Flink这些监控指标,可以自己定义或者关闭这些不必要的采集嘛?
Flink这些监控指标,可以自己定义或者关闭这些不必要的采集嘛?
参考答案:
参考 https://help.aliyun.com/zh/flink/user-guide/discard-or-restore-metrics?spm=a2c4g.11186623.0.i12
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610210
问题四:用的flink的connector做sink的时候,批量起作用吗?我用的怎么都不起作用?
用的flink的connector做sink的时候,批量起作用吗?我用的怎么都不起作用?
参考答案:
flink是实时作业,没办法批量存
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610209
问题五:Flink cdc有什么方法可以获取到全量快照读取完成的信息吗?
Flink cdc有什么方法可以获取到全量快照读取完成的信息吗?
参考答案:
加标识,com.ververica.cdc.connectors.mysql.source.reader.MySqlSourceReader#discoverTableSchemasForBinlogSplit。
关于本问题的更多回答可点击进行查看: