flinkcdc 监听解析mysql的binlog文件,相关的binlog offset是直接往状态存储了,那如果任务失败或者异常了,相关的offset已经被提交了,那如何保证数据不丢失呢?有没有大佬对这一块有做过验证的,下游算子的恢复如果没有使用状态,依托于flink的算子生命周期是否也是可以保证数据的精准一次?有大佬可以解答一下吗?这个其实我已经知道了,我好奇的是,如果中间缓存数据我没有使用状态,那依靠flink 算子的生命周期是不是也可以满足要求,因为在现有验证场景下,如果使用状态做中间数据的缓存,性能是达不到要求的,所以中间状态缓存只能走内存模式,减少序列化反序列化开销,按照官方说法,算子失败时依次调用生命周期方法,那是不是可以依赖于这个去处理
https://developer.aliyun.com/article/782653文章虽略久远,但应该可以解答你的疑惑吧,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。