Flink CDC中kafka因为写入量过高,导致拒绝写入了一会儿,这种情况应该怎么排查呢?

Flink CDC中kafka因为写入量过高,导致拒绝写入了一会儿,理论上我们应该数据不会丢才对,但是丢了一部分,这种情况应该怎么排查呢?大佬能提供一个思路嘛?

展开
收起
真的很搞笑 2023-10-18 14:11:51 105 分享 版权
2 条回答
写回答
取消 提交回答
  • 查日志,此回答整理自钉群“Flink CDC 社区”

    2023-10-18 18:31:16
    赞同 展开评论
  • Flink CDC中的数据丢失可能是由于多种原因导致的,例如网络延迟、Flink作业的配置问题、Kafka的配置问题等。以下是一些可能的排查思路:

    1. 检查Flink作业的配置,确保它正确地处理了数据丢失。Flink CDC中的数据丢失是可以通过一些配置项来控制的,例如CheckpointingIntervalMinPauseBetweenCheckpoints等。如果这些配置项设置不正确,可能会导致数据丢失。你可以检查Flink作业的配置文件,确保这些配置项设置正确。
    2. 检查Kafka的配置,确保它正确地处理了数据丢失。Kafka中有一些配置项可以用来控制数据丢失,例如acksreplication-factor等。你可以检查Kafka的配置文件,确保这些配置项设置正确。
    3. 检查网络延迟,确保Flink和Kafka之间的网络连接是稳定的。如果网络延迟过高,可能会导致数据丢失。你可以使用一些网络监控工具来检查网络延迟。
    4. 检查Flink和Kafka的日志,看是否有任何异常或错误信息。这些日志可能提供了关于数据丢失的线索。
    5. 检查Flink和Kafka的性能,看是否存在性能瓶颈。如果Flink或Kafka的性能不足,可能会导致数据丢失。你可以使用一些性能监控工具来检查Flink和Kafka的性能。
    2023-10-18 16:49:30
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理