请帮我看看这个异常是怎么回事?

请教一个问题,有遇到org.apache.kafka.common.errors.UnsupportedVersionException: Attempted to write a non-default producerId at version 0这异常吗?

展开
收起
滴滴滴~ 2023-03-29 17:03:05 265 分享 版权
1 条回答
写回答
取消 提交回答
  • 可能的原因每个生产者在初始化时都被分配了一个唯一的 PID。此 PID 对应用程序是透明的,根本不会向用户公开。对于给定的PID,序号会从0开始递增,每个Topic-Partition都会有一个独立的序号。 Producer发送数据时,会为每个msg标识一个序列号,Server会以此来验证数据是否重复。这里的PID是全局唯一的,Producer失败后重启后会分配一个新的PID。这也是无法跨会话实现幂等性的原因之一。

    如果从savepoint恢复,会使用之前的producerId,一个新的session会产生1000个新的producerId(这些id贯穿整个session,相当于默认值),所以是non-default的

    2023-03-31 21:47:17
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理