开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位,我flink读取kafka两个topic数据,然后双流join,把统计数据写到mysql,现在

各位,我flink读取kafka两个topic数据,然后双流join,把统计数据写到mysql,现在需要切换新的kafka集群,要做到业务方无感知,数据不能延迟也不能有误差。我想了下,从checkpoint重启肯定不行了,但是不从checkpoint重启中间状态就没了,有谁遇到过或有什么解决办法吗

展开
收起
游客3oewgrzrf6o5c 2022-08-12 14:45:23 1009 0
2 条回答
写回答
取消 提交回答
  • 兄弟,你批量读取多个kafka的代码怎么写的,项目地址有吗?参考一下呗。

    2022-08-22 10:01:50
    赞同 展开评论 打赏
  • 你再起一个任务,把集群地址换成新的,两边的任务处理逻辑不变,同时处理,直到确定你老集群 没有数据进来就停掉老任务。(此答案整理自【③群】Apache Flink China社区)

    2022-08-12 14:58:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像