如果Flink CDC挂了怎么办?
问题1：如果Flink CDC挂了怎么办?而且我是拉取mongo的那个oplog日志，那个oplog日志滚动速度很快，最多也就是保存一个小时左右把,有没有像sparkstreaming那样子，我启动的时候，先查询mysql保存的偏移量，然后呢去消费数据，消费完数据以后，再把偏移量写入到mysql里面，然后下一批次的时候，我再去查询mysql的偏移量，然后再处理数据。
问题2：我现在看看有没有什么其他可以实现的方式，你现在是这样子保证数据不丢？
展开
收起
1
条回答
写回答
写回答
-
回答1：那你自己可以定义算子过滤啊,把每一次的操作标识存储到缓存里 然后设置过期时间大于等于ck时间
回答2：ck 可以啊，但是会存在重复采集 。开启ck后你只需要做下去重就行了，针对插入操作，因为ck存储有时间间隔，此回答整理自钉群“Flink CDC 社区”2023-08-22 18:52:41赞同 展开评论 打赏
问答地址：
开发者社区
>
大数据与机器学习
>
实时计算 Flink
>
问答
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1518
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
213
在建行，数据通常来源于哪些？
538
大佬，Caused by: java.lang.ClassNotFoundException: or
515
请问flink-connector-jdbc在sink时，如何设置批量写入？
3154
Caused by: org.apache.kafka.common.errors.TimeoutE
3311
Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
1256
Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
598
Slot request bulk is not fulfillable，20以上job同时部署失败
756
Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
1553
展开全部
Flink SQL 功能解密系列 —— 数据去重的技巧和思考
10877
日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
7769
Apache Flink 进阶（五）：数据类型和序列化
8274
Flink SQL 功能解密系列 -- Aysnc I/O
5465
Netflix：如何打造开放协作的实时 ETL 平台？
1844
Flink 新场景：OLAP 引擎性能优化及应用案例
2537
周末直播|Flink、Hologres、AI等热门话题全都安排！
4832
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
105101
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc'，该如何解决
1623
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
730
展开全部
相关课程
更多
相关文章
相关电子书
更多
