任务报错:The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.
作业正在读取的Binlog文件在MySQL服务器已经被清理掉,这种情况一般是MySQL服务器上保留的Binlog文件过期时间太短,可以将该值设置大一点,比如7天或者30天。
如果保留策略已经设置的比较长了, 还有种情况是Flink CDC 作业消费Binlog太慢,这种一般分配足够的资源即可。
从错误上来看,是因为flink程序报错后需要进行检查点恢复,但是无法找到对应的检查点文件信息。
因为同步香港站和大陆站,是两个类似的flink job,我当时就让两个job指向了同一个hadoop的checkpoint目录,这样就导致某个job在恢复的时候就找不到对应的checkpoint文件了。
所以,最终的解决方法就是:修改flink的程序让每一个job的检查点目录设置成不一样的目录,即可解决此问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。