开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请帮我看看这个异常是怎么回事?

请教一个问题,有遇到org.apache.kafka.common.errors.UnsupportedVersionException: Attempted to write a non-default producerId at version 0这异常吗?

展开
收起
滴滴滴~ 2023-03-29 17:03:05 226 0
1 条回答
写回答
取消 提交回答
  • 可能的原因每个生产者在初始化时都被分配了一个唯一的 PID。此 PID 对应用程序是透明的,根本不会向用户公开。对于给定的PID,序号会从0开始递增,每个Topic-Partition都会有一个独立的序号。 Producer发送数据时,会为每个msg标识一个序列号,Server会以此来验证数据是否重复。这里的PID是全局唯一的,Producer失败后重启后会分配一个新的PID。这也是无法跨会话实现幂等性的原因之一。

    如果从savepoint恢复,会使用之前的producerId,一个新的session会产生1000个新的producerId(这些id贯穿整个session,相当于默认值),所以是non-default的

    2023-03-31 21:47:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载