开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink CDC中消费kafka时如何区分不同record对应是哪个表?

在Flink CDC中Pipeline 从Mysql到Kafka,route映射后,将A库写入topicA,B库写入topicB后,消费kafka时如何区分不同record对应是哪个表?

展开
收起
冲冲冲c 2024-06-26 11:11:22 44 0
1 条回答
写回答
取消 提交回答
  • 当Flink CDC从MySQL将A库的数据路由到Kafka的topicA,B库的数据路由到topicB时,每个库的数据会被写入不同的topic。在消费Kafka时,可以通过Kafka消费者配置来订阅对应的topic,例如:
    订阅topicA来消费A库的数据:
    image.png

    类似地订阅topicB来消费B库的数据:
    image.png

    记录的元数据中通常不包含直接表示表名的信息,因此在消费时,您需要根据订阅的topic来区分数据来自哪个库的哪个表。如果在Flink CDC配置中添加了自定义的元数据信息,可以通过解析消息内容获取这些信息。重启、释放实例等操作可能导致业务中断,建议您提前做好数据备份,并在非业务高峰期时执行该操作

    2024-06-26 17:16:07
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载