请教一个问题,有遇到org.apache.kafka.common.errors.UnsupportedVersionException: Attempted to write a non-default producerId at version 0这异常吗?
可能的原因每个生产者在初始化时都被分配了一个唯一的 PID。此 PID 对应用程序是透明的,根本不会向用户公开。对于给定的PID,序号会从0开始递增,每个Topic-Partition都会有一个独立的序号。 Producer发送数据时,会为每个msg标识一个序列号,Server会以此来验证数据是否重复。这里的PID是全局唯一的,Producer失败后重启后会分配一个新的PID。这也是无法跨会话实现幂等性的原因之一。
如果从savepoint恢复,会使用之前的producerId,一个新的session会产生1000个新的producerId(这些id贯穿整个session,相当于默认值),所以是non-default的
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。