请问mysql cdc入kafka出现数据丢失,目前已确定mysql binlog数据没有问题,哪些

请问mysql cdc入kafka出现数据丢失,目前已确定mysql binlog数据没有问题,哪些原因会到这这个异常呢?

展开
收起
十一0204 2023-04-10 20:16:54 330 分享 版权
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    你可以发详细丢的数据+TM log + 是否开启了checkpoint,以及cdc版本+flink版本。此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:59:47
    赞同 展开评论
  • 坚持这件事孤独又漫长。

    可能出现数据丢失的原因有以下几种:

    • 数据写入Kafka失败:可能是Kafka生产者配置不正确或者Kafka集群有问题,导致数据写入失败。建议检查Kafka集群的状态以及生产者配置情况。

    • 数据写入Kafka之后被意外删除:可能是Kafka的保留策略配置不正确,导致数据被自动删除。建议检查Kafka的保留策略配置情况。

    • 数据消费者处理延迟或出现故障:如果数据虽然已经写入Kafka,但消费者无法及时消费或处理,也会导致数据丢失。建议检查消费者的状态以及消费者处理逻辑是否正确。

    • 网络故障:如果网络不稳定或者存在丢包现象,也可能造成部分数据丢失。建议检查网络状态以及网络传输的可靠性。

    需要从上述方面进行排查,并根据具体情况进行排除。

    2023-04-10 20:45:17
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理