请问mysql cdc入kafka出现数据丢失,目前已确定mysql binlog数据没有问题,哪些原因会到这这个异常呢?
你可以发详细丢的数据+TM log + 是否开启了checkpoint,以及cdc版本+flink版本。此答案整理自钉群“Flink CDC 社区”
数据写入Kafka失败:可能是Kafka生产者配置不正确或者Kafka集群有问题,导致数据写入失败。建议检查Kafka集群的状态以及生产者配置情况。
数据写入Kafka之后被意外删除:可能是Kafka的保留策略配置不正确,导致数据被自动删除。建议检查Kafka的保留策略配置情况。
数据消费者处理延迟或出现故障:如果数据虽然已经写入Kafka,但消费者无法及时消费或处理,也会导致数据丢失。建议检查消费者的状态以及消费者处理逻辑是否正确。
网络故障:如果网络不稳定或者存在丢包现象,也可能造成部分数据丢失。建议检查网络状态以及网络传输的可靠性。
需要从上述方面进行排查,并根据具体情况进行排除。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。