大佬们,Flink CDC中检查点文件 怎么动态设置?

问题1:大佬们,Flink CDC中检查点文件 怎么动态设置?image.png 现在是写死的 问题2:可以配置oss路径是吗?image.png 比如我再本地的,如果单机,其实这种简单,我取最大的检查点目录,设置进去,但是这个部署在多台服务器上,每个机器都有自己的检查点,我想多个机器读取同一个简单点,oss ,是不是要自定义存储?image.png 只有这几种方式,难道自己写一个定时任务,读取最新的文件,存储到oss上。然后启动的时候,下载到本地目录?

展开
收起
真的很搞笑 2023-05-14 20:48:00 159 分享 版权
1 条回答
写回答
取消 提交回答
  • 回答1:放到本地或者oss上面,拿到最新一个chk文件就可以传进去了,可以配置oss路径是吗?用路径区分出来 回答2:放到oss上一样的原理,每次进来先去oss拿到,存储的时候用路径来区分不同机器。我是每5s次都刷新一次checkpoint,然后把这个保存点上传上去。 有依赖包可以用,不过我拿来用有问题,就自己搞的,我是这么做的。不过FsStatebank里面是直接支持oss s3. Hdfs这几种。你可以试试,此回答整理自钉群“Flink CDC 社区”

    2023-05-14 20:53:43
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理