开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc (2.4.1) 重启的时候作为参数传给flink cdc吗?

flink cdc (2.4.1) 从specified offset启动没有问题,但是停机后从savepoint恢复则报错binlog被purge(实际文件还在)。是需要停机前手工记录gtid,重启的时候作为参数传给flink cdc吗?

展开
收起
cuicuicuic 2023-12-31 08:55:19 41 0
3 条回答
写回答
取消 提交回答
  • 重启策略作为 Flink 集群或作业级别的配置参数,并不会直接作为参数传递给 Flink CDC 组件。

    2023-12-31 15:47:48
    赞同 展开评论 打赏
  • Flink CDC在从MySQL读取binlog时,依赖于binlog的持久化以保证故障恢复后能够继续正确地从上次中断的地方开始处理变更数据。如果在停机后从savepoint恢复时遇到binlog被purged的错误,但实际上文件还在,这通常意味着MySQL已经清理了binlog历史记录,而这些记录是Flink CDC任务所需要的。

    MySQL通过参数配置binlog的保留策略,例如expire_logs_daysbinlog_expire_logs_seconds等,当达到设定的时间阈值后,MySQL会自动删除旧的binlog文件,即使文件物理上可能仍存在于磁盘上,但在数据库内部已不可见。

    在使用Flink CDC进行故障恢复时,确实需要确保相关的binlog文件在任务重启时仍然可用。由于Flink CDC通常会保存GTID(全局事务标识符)或其他形式的位置信息到savepoint中以便恢复,因此不需要手动记录GTID并在重启时传给Flink CDC。

    但是,如果因为MySQL的binlog清理策略导致必要的binlog文件不再可访问,那么即便GTID或其他位置信息还在savepoint中,也无法正常恢复。

    为了解决这个问题,可以考虑调整MySQL的binlog保留策略,确保在Flink CDC任务可能需要恢复的时间窗口内不会自动清理binlog文件。另外,在计划维护或升级之前,也可以考虑暂停binlog清理,并确保所有的CDC任务都已成功checkpoint或者savepoint,然后再进行下一步操作。

    如果确实遇到了因为binlog清理而导致无法恢复的情况,且物理binlog文件还存在,理论上可以通过手动方式将这些文件重新加入到MySQL的binlog列表中并设置正确的GTID范围,但这需要对MySQL有深入理解且操作较为复杂,一般不建议这样做。

    2023-12-31 13:15:45
    赞同 展开评论 打赏
  • 最好的办法是一直开启gtid,image.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-12-31 11:34:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载