开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc 监听解析mysql的binlog文件,相关的binlog offset是直接往状?

flinkcdc 监听解析mysql的binlog文件,相关的binlog offset是直接往状态存储了,那如果任务失败或者异常了,相关的offset已经被提交了,那如何保证数据不丢失呢?有没有大佬对这一块有做过验证的,下游算子的恢复如果没有使用状态,依托于flink的算子生命周期是否也是可以保证数据的精准一次?有大佬可以解答一下吗?这个其实我已经知道了,我好奇的是,如果中间缓存数据我没有使用状态,那依靠flink 算子的生命周期是不是也可以满足要求,因为在现有验证场景下,如果使用状态做中间数据的缓存,性能是达不到要求的,所以中间状态缓存只能走内存模式,减少序列化反序列化开销,按照官方说法,算子失败时依次调用生命周期方法,那是不是可以依赖于这个去处理

展开
收起
真的很搞笑 2023-06-18 12:58:40 92 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/article/782653文章虽略久远,但应该可以解答你的疑惑吧,此回答整理自钉群“Flink CDC 社区”

    2023-06-18 13:18:58
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像