问题一:这个flinksqlcdc 也支持checkpoint嘛?
这个flinksqlcdc 也支持checkpoint嘛?
参考回答:
是的,Flink SQL CDC支持Checkpoint。Checkpoint是指Flink定期存储它当前状态的过程。当作业失败时,可以从最近的Checkpoint点重新开始处理,而不是从头开始。这对于容错和状态恢复非常有用。
要启用Checkpoint,请在Flink SQL命令中添加SET 'execution.checkpointing.mode'='EXACTLY_ONCE'
。例如:
SET 'execution.checkpointing.mode'='EXACTLY_ONCE';
然后,你需要设置execution.checkpointing.interval
参数来控制Checkpoint的频率。例如,以下命令会每两分钟创建一次Checkpoint:
SET 'execution.checkpointing.interval'='2 min';
另外,你还需要设置execution.checkpoints.dir
参数来指定Checkpoint的存储位置。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566841
问题二:你好,Flink CDC有时候能导入一个多亿,总共一亿四千万左右,还有其他原因导致吗?
你好,Flink CDC我的那个interactive_timeout、wait_timeout已经设置到最大,多并行度还是报错,有时候能导入几千万,有时候能导入一个多亿,总共一亿四千万左右,还有其他原因导致吗?
参考回答:
这个需要排查了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572313
问题三:Flink CDC一直都是40个并行度,参数中指定了这个自己还会变?
Flink CDC一直都是40个并行度,参数中指定了这个自己还会变?
参考回答:
一个container对应一个taskmanager,加一个jobmanager,所以11core
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572312
问题四:最新版的flinkcdc2.4.1支持tidb的增量吗?
最新版的flinkcdc2.4.1支持tidb的增量吗?
参考回答:
一直都支持增量数据
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567028
问题五:请问代码里面 flink-分别是用来干啥的呢?有什么区别呢?
请问代码里面 flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc 分别是用来干啥的呢?有什么区别呢?
参考回答:
如果你要用flink-sql有sql包,如果你只写datastream(没有table-api),只需要前者
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572310