开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里目前遇到一个问题,rds扩缩容是 会导致binlog位点失效怎么办?

Flink CDC里目前遇到一个问题,rds扩缩容是 会导致binlog位点失效,从而引发作业一直重启失败,flinkcdc有什么 方法可以规避这种情况吗?没有用过gtid,是需要rds这边配置吗?确实是凌晨低峰进行的。

展开
收起
小小鹿鹿鹿 2024-05-20 21:10:36 51 0
1 条回答
写回答
取消 提交回答
  • 1.看一下有没有开启gtid。 2.rds低峰期进行扩缩容。没有gtid,那就是根据文件名来找的。 实例升级切换后就是另一台机器了,是新的文件名了。切换了是找不到的。 要使用gtid才能找到新机器的位点。 rds 配成开启gtid。 rds 扩缩容如果发生了主从切换的话,就不能通过 binlog 文件的位点恢复消费了,这个时候如果rds 开启了 GTID ,当消费不到数据时,作业失败重启后应该能重新消费成功的。此回答来自钉群Flink CDC 社区 。

    2024-05-20 22:52:02
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像