开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

麻烦问一下:flincdc发送数据到kafka,数据量大的时候,这个有解决办法吗? Exp

麻烦问一下:flincdc发送数据到kafka,数据量大的时候,报无法将数据发送到kafka
Expiring 16 record(s) for wk_talent_detail_listen-0:120000 ms has passed since batch creation这个有解决办法吗?

展开
收起
cuicuicuic 2023-11-06 20:15:15 31 0
2 条回答
写回答
取消 提交回答
  • 网络原因

    linger.ms
    request.timeout.ms

    试试增加这两个值,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:41:04
    赞同 展开评论 打赏
  • 这个错误通常是由于Flink CDC无法将数据发送到Kafka导致的。可能的原因包括:

    1. Kafka的吞吐量不足,导致Flink CDC无法及时将数据发送到Kafka。您可以尝试增加Kafka的吞吐量,例如通过增加Kafka broker的数量或调整Kafka的参数来实现。

    2. Flink CDC的配置不正确,例如Kafka连接参数、序列化器等配置有误。您可以检查Flink CDC的配置是否正确,并尝试重新配置。

    3. 网络问题导致Flink CDC无法连接到Kafka。您可以检查网络连接是否正常,并确保Flink CDC可以访问Kafka。

    针对这个问题,您可以尝试以下解决方法:

    1. 增加Kafka的吞吐量,例如通过增加Kafka broker的数量或调整Kafka的参数来实现。

    2. 检查Flink CDC的配置是否正确,并尝试重新配置。

    3. 检查网络连接是否正常,并确保Flink CDC可以访问Kafka。

    2023-11-07 11:08:04
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载