问题一:Flink CDC里flink监控你们都是怎么做的?
Flink CDC里flink监控你们都是怎么做的?
参考答案:
自己抓rest api,再转储别的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592303
问题二:Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,不生效怎么办?
Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,checkpoint目前是持久化到oss上,我希望每次重启任务的时候不要从头开始抓取所有的消息。我的想法是在任务里面直接获取oss上最新进度的checkpoint目录,然后通过SavepointRestoreSettings去恢复任务进度,但是不生效。请问是什么情况,或者有没有别的更好解决方案?
参考答案:
等3.1发版, 目前 不支持 从savapoint恢复。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592302
问题三:Flink CDC里 是重新下载3.0的版本还是 等3.1发版?
Flink CDC里
https://github.com/ververica/flink-cdc-connectors/pull/3000
这个pr, 解决了 不在同步列表的 其他表schema变动,导致任务失败的问题吧, 是重新下载3.0的版本还是 等3.1发版? 目前 这个问题 在生产环境的 同步流程完全没法用,时不时就任务失败了 。
参考答案:
这周发布一个小版本的包解决。着急的话自己先在 master 的分支上打包替换 mysql 的 jar。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592301
问题四:Flink CDC里增量快照是单个作业内多并行度,但是多个作业、每个作业同步的不同库可以同时运行吗?
Flink CDC里增量快照是单个作业内多并行度,但是多个作业、每个作业同步的不同库,但不同库在一个实例下,这时能多个库的作业同时运行吗?怎么控制数据库中创建复制槽不阻塞呢?
参考答案:
可以的啊,但是不建议这样操作,一个是一个库一个job。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592300
问题五:Flink CDC里mysql5.7和mysql8是不是binlog生成机制不一样?
Flink CDC里mysql5.7和mysql8是不是binlog生成机制不一样? 还是说是binlog的配置不一样, 都开启了binlog 但是 mysql8读不到啊?
参考答案:
show variables like 'log_bin'
关于本问题的更多回答可点击进行查看: