开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中mysql 同步kafka 给报了个这错?

Flink CDC中mysql 同步kafka 给报了个这错, sink是侧输出流 表也不大就400万,列有200列,初始化的时候报的 有遇到过的吗?image.png

展开
收起
真的很搞笑 2023-11-16 07:54:01 88 0
1 条回答
写回答
取消 提交回答
  • 这个错误是由于Kafka生产者尝试使用旧的epoch进行生产导致的。要解决这个问题,你可以尝试以下方法:

    1. 确保Flink CDC和Kafka的版本兼容。你可以查看官方文档或者在社区中寻求帮助。

    2. 检查Kafka集群的状态,确保所有broker都正常运行。

    3. 检查Flink CDC的配置,确保sink.producer.type设置为KafkaProducer,并且sink.producer.bootstrap.servers指向正确的Kafka broker地址。

    4. 如果问题仍然存在,可以尝试增加Kafka producer的max.block.ms参数值,以便给生产者更多的时间来更新其epoch。例如,将max.block.ms设置为60000(1分钟):

    flink-cdc:
      sink:
        type: kafka
        properties:
          topic: your_topic
          bootstrap.servers: your_kafka_bootstrap_servers
          key.serializer: org.apache.kafka.common.serialization.StringSerializer
          value.serializer: org.apache.kafka.common.serialization.StringSerializer
          producer.type: KafkaProducer
          producer.bootstrap.servers: your_kafka_bootstrap_servers
          producer.key.serializer: org.apache.kafka.common.serialization.StringSerializer
          producer.value.serializer: org.apache.kafka.common.serialization.StringSerializer
          producer.max.block.ms: 60000
    
    2023-11-16 10:20:54
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载

    相关镜像