问题1:大佬们,Flink CDC中检查点文件 怎么动态设置?
现在是写死的 问题2:可以配置oss路径是吗?
比如我再本地的,如果单机,其实这种简单,我取最大的检查点目录,设置进去,但是这个部署在多台服务器上,每个机器都有自己的检查点,我想多个机器读取同一个简单点,oss ,是不是要自定义存储?
只有这几种方式,难道自己写一个定时任务,读取最新的文件,存储到oss上。然后启动的时候,下载到本地目录?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
回答1:放到本地或者oss上面,拿到最新一个chk文件就可以传进去了,可以配置oss路径是吗?用路径区分出来 回答2:放到oss上一样的原理,每次进来先去oss拿到,存储的时候用路径来区分不同机器。我是每5s次都刷新一次checkpoint,然后把这个保存点上传上去。 有依赖包可以用,不过我拿来用有问题,就自己搞的,我是这么做的。不过FsStatebank里面是直接支持oss s3. Hdfs这几种。你可以试试,此回答整理自钉群“Flink CDC 社区”