如果Flink CDC挂了怎么办?
问题1：如果Flink CDC挂了怎么办?而且我是拉取mongo的那个oplog日志，那个oplog日志滚动速度很快，最多也就是保存一个小时左右把,有没有像sparkstreaming那样子，我启动的时候，先查询mysql保存的偏移量，然后呢去消费数据，消费完数据以后，再把偏移量写入到mysql里面，然后下一批次的时候，我再去查询mysql的偏移量，然后再处理数据。
问题2：我现在看看有没有什么其他可以实现的方式，你现在是这样子保证数据不丢？
展开
收起
1
条回答
写回答
写回答
-
回答1：那你自己可以定义算子过滤啊,把每一次的操作标识存储到缓存里 然后设置过期时间大于等于ck时间
回答2：ck 可以啊，但是会存在重复采集 。开启ck后你只需要做下去重就行了，针对插入操作，因为ck存储有时间间隔，此回答整理自钉群“Flink CDC 社区”2023-08-22 18:52:41赞同 展开评论 打赏
问答地址：
开发者社区
>
大数据与机器学习
>
实时计算 Flink
>
问答
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
flink的1cu是指1cpu还是1cpu+4g存储？
237
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
1915
各位老师，请教个问题，flink 会在本地 /tmp 目录下产生大量flink-临时文件，目前看好？
1209
Flink这个未授权访问漏洞有什么解决方案吗？
590
Flink CDC中我使用了自定义聚合函数，但是报错这个需要怎么解决呢？
443
flinksql 可以 设置自增id 吗？
7943
请问如何用flink sql客户端用yarn application模式提交任务呢？
412
改了flink-connector-kafka的源码，用 yarn session启动不生效
34
flink 批处理 使用table去读取MySQL的数据，报这个
2254
Flink CDC有遇见这个问题的吗？
578
展开全部
数据仓库介绍与实时数仓案例
40325
独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
17114
实时计算 Flink SQL 核心功能解密
18574
Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
26289
通过Flink实时构建搜索引擎的索引
16826
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
21586
阿里云实时计算产品案例&解决方案汇总
25558
Apache Flink 的迁移之路，2 年处理效果提升 5 倍
9562
Flink Checkpoint 问题排查实用指南
12534
广告场景下的实时计算
10922
展开全部
相关课程
更多
相关电子书
更多
