开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问mysql cdc入kafka出现数据丢失,目前已确定mysql binlog数据没有问题,哪些

请问mysql cdc入kafka出现数据丢失,目前已确定mysql binlog数据没有问题,哪些原因会到这这个异常呢?

展开
收起
十一0204 2023-04-10 20:16:54 217 0
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    你可以发详细丢的数据+TM log + 是否开启了checkpoint,以及cdc版本+flink版本。此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:59:47
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    可能出现数据丢失的原因有以下几种:

    • 数据写入Kafka失败:可能是Kafka生产者配置不正确或者Kafka集群有问题,导致数据写入失败。建议检查Kafka集群的状态以及生产者配置情况。

    • 数据写入Kafka之后被意外删除:可能是Kafka的保留策略配置不正确,导致数据被自动删除。建议检查Kafka的保留策略配置情况。

    • 数据消费者处理延迟或出现故障:如果数据虽然已经写入Kafka,但消费者无法及时消费或处理,也会导致数据丢失。建议检查消费者的状态以及消费者处理逻辑是否正确。

    • 网络故障:如果网络不稳定或者存在丢包现象,也可能造成部分数据丢失。建议检查网络状态以及网络传输的可靠性。

    需要从上述方面进行排查,并根据具体情况进行排除。

    2023-04-10 20:45:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像