开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC把原始库删除了以后重新创建了一个名称相同的库来着消费最新的binlog就没啥事了?

Flink CDC把原始库删除了以后重新创建了一个名称相同的库来着,消费最新的binlog就没啥事了image.png
不过我换一个没有删除的库的时候,数据能够读取到,但是会一直出现这样的报错,会有什么影响吗?

展开
收起
真的很搞笑 2023-11-21 09:04:42 35 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果原始库被删除并重新创建为名称相同的新库,则CDC消费者可能无法正确识别该变化,并继续尝试从旧的库位置读取数据。这可能会导致各种问题,包括但不限于数据丢失、消费延迟等。

    为了避免这种情况,建议在删除原始库之前停止CDC消费者的运行,或者在重新创建新库后更新CDC消费者的配置以指向新的库位置。这样可以确保消费者始终能够正确跟踪数据库的变化,并从中获取最新的数据。

    2023-11-21 23:12:43
    赞同 展开评论 打赏
  • 默认全量启动会规避中间的数据格式不对的问题,此回答整理自钉群“Flink CDC 社区”

    2023-11-21 22:15:17
    赞同 展开评论 打赏
  • Flink CDC是一个强大的工具,能够作为各个数据源的source和sink,实时接入和实时推送数据。然而,当原始库被删除并重新创建一个名称相同的库时,虽然消费最新的binlog没有问题,但是如果换一个没有删除的库,数据能够读取到,但是会一直出现报错。这个报错信息对于理解问题可能有所帮助,但要找出问题的具体原因,还需要更多的上下文信息,例如Flink任务的配置、数据源的类型和状态、集群的资源使用情况等。

    这种报错可能会影响数据的同步和处理,因为Flink CDC的核心是Change Data Capture(CDC)技术,它主要用于将关系型数据库中的数据同步到Flink上进行实时处理。如果在这个过程中出现报错,可能会导致数据同步失败,进而影响到后续的数据处理和分析。

    2023-11-21 15:07:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载