Flink CDC中mysql 同步kafka 给报了个这错, sink是侧输出流 表也不大就400万,列有200列,初始化的时候报的 有遇到过的吗?
这个错误是由于Kafka生产者尝试使用旧的epoch进行生产导致的。要解决这个问题,你可以尝试以下方法:
确保Flink CDC和Kafka的版本兼容。你可以查看官方文档或者在社区中寻求帮助。
检查Kafka集群的状态,确保所有broker都正常运行。
检查Flink CDC的配置,确保sink.producer.type
设置为KafkaProducer
,并且sink.producer.bootstrap.servers
指向正确的Kafka broker地址。
如果问题仍然存在,可以尝试增加Kafka producer的max.block.ms
参数值,以便给生产者更多的时间来更新其epoch。例如,将max.block.ms
设置为60000(1分钟):
flink-cdc:
sink:
type: kafka
properties:
topic: your_topic
bootstrap.servers: your_kafka_bootstrap_servers
key.serializer: org.apache.kafka.common.serialization.StringSerializer
value.serializer: org.apache.kafka.common.serialization.StringSerializer
producer.type: KafkaProducer
producer.bootstrap.servers: your_kafka_bootstrap_servers
producer.key.serializer: org.apache.kafka.common.serialization.StringSerializer
producer.value.serializer: org.apache.kafka.common.serialization.StringSerializer
producer.max.block.ms: 60000
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。