开发者社区 > 大数据与机器学习 > 正文
1
0
分享

各位大佬 有谁知道datastream流方式的Flink CDC连接器拉取binlog日志怎么设置?

问题1:各位大佬 有谁知道datastream流方式的Flink CDC连接器拉取binlog日志怎么设置checkpoint 现在每次重启都是拉全量的数据 我想启动时从上次拉取的位置继续拉? 问题2:checkpoint没办法保存这个位置么

展开
收起
真的很搞笑 2023-05-23 17:12:05 101 0 发布于黑龙江
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
智能开放搜索 OpenSearch行业算法版
1GB 20LCU 1个月
额度1个月内有效
检索分析服务 Elasticsearch 版
2核4GB开发者规格 1个月
额度1个月内有效
实时数仓Hologres
5000CU*H 100GB 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 回答1:我是用笨办法,把ck存在本地,然后启动的时候去本地目录找最新的那一个ck位置,然后设置ck就行了,hdfs的还没开始弄,flink 重启可以从checkpoint 恢复呀。 回答2:好像可以存状态,不过我不会,刚入门两周,ck存到本地就这样的文件。我就找修改日期最新的_metadata文件目录image.png 可以指定jobid , 这样jobid就是固定 的. 然后每次去这个jobid下面读取最新的_metadata文件就行了. chk-150那个目录每次自动保存ck的时候都会变,有时候出现异常还会不生成_metadata文件,这样这个ck就废了。不太会,只能先这样了,此回答整理自钉群“Flink CDC 社区”

    2023-05-23 17:15:50 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 日志服务
  • 相关电子书

    更多
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载
    智能化日志中心 立即下载
    AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等