kakfa 常见错误(长期更新)

简介: kakfa 常见错误(长期更新)

@TOC

一、消费者相关

1.1 消费组

1.1.1 查看消费组命令找不到消费组

详情: 运行以下命令后,控制台界面无任何输出

kafka-consumer-groups.sh --bootstrap-server 192.168.2.83:9092 --list

如下图:

1.png

解决方法:
指定消费者群组进行消费,成功消费后将自动创建所指定的消费者群组。

springboot指定消费者群组:消费者配置类添加下面代码(消费者配置类可查看springboot连接kafka

props.put(ConsumerConfig.GROUP_ID_CONFIG, "kakfa-test");

结果如图:

2.png

1.2 主题

1.2.1 kafka默认主题_consumer_offsets 不小心删除

详情: 删除了_consumer_offsets主题

如下图:

3.png

解决方法

  • 重新创建主题 __consumer_offsets

    bin/kafka-topics.sh --bootstrap-server 192.168.2.86:9092 --topic __consumer_offsets --create
    
    • 重启kafka服务
    • 进行查看

    结果如图,可以看到主题__consumer_offsets:
    4.png

不成功的检查一下 kafka 服务配置 ,添加:

auto.create.topic.enable=true

二、发布者相关

三、Spring Boot连接相关

3.1 消费者相关

3.1.1 连接报错

详情: springboot启动后连接kafka集群报错:协调器不正确,标记协调器未知。

Request joining group due to: rebalance failed due to 'This is not the correct coordinator.' (NotCoordinatorException)

如下图:

5.png

解决方法

该问题出现原因一般是因为消费者类配置不正确,或提供group id 有问题。若不清楚group id请显示的指定分区,避免将错误的group id写入。

 @KafkaListener(topicPartitions  =   {
    @TopicPartition(topic = "kafka-topic-test", partitions = {
    "0", "8" })
    })

3.1.1.2 消费报错

详情: 消费成功,但报错 This error handler cannot process 'org.apache.kafka.common.errors.InvalidGroupIdException's; no record information is available

如下图:
6.png

解决方法

这个提示很明显,没有提供可用的 group id。我们只需要在消费者配置中设置一个即可,这个错误的原因是未设置group id,但又使用了subscribe(topic) 或基于 Kafka 的偏移量管理策略使用组管理功能引起。

3.1.3 数据过期

报错信息org.apache.kafka.common.errors.TimeoutException: Expiring 10 record(s) for 主题名-0:120013 ms has passed since batch creation

报错原因:某些记录放入队列的速度比从客户端发送的速度快。
原因分析:生产者发送消息时,它们会存储在缓冲区中(在将它们发送到目标代理之前),并且记录会分组在一起以提高吞吐量。当新记录添加到批次中时,必须在可配置的时间窗口内发送,该时间窗口由 控制request.timeout.ms(默认设置为 30 秒)。如果批次在队列中的时间较长,则会抛出TimeoutException ,然后批次将记录从队列中删除,并且不会传递给代理。
解决方法: 增加 request.timeout.ms 的值,或者 减少 batch.size的值,然后使 linger.ms 为 0 ,重启 kafka

备注:如果这些都无效!兄弟,你得看看网络了。

目录
相关文章
|
4天前
|
消息中间件 监控 安全
探究Kafka主题删除失败的根本原因
探究Kafka主题删除失败的根本原因
26 0
|
4天前
|
运维 测试技术 Serverless
上一任留下的 Eureka,我该如何提升她的性能和稳定性(含数据比对)?
上一任留下的 Eureka,我该如何提升她的性能和稳定性(含数据比对)?
94614 119
|
4天前
|
测试技术
线上问题,如何处理?
线上问题,如何处理?
116 37
|
2天前
|
SQL Kubernetes 数据处理
实时计算 Flink版产品使用合集之遇到的binlog文件短时间内增加很多导致的任务失败如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
13 0
|
4天前
|
运维 JavaScript Devops
云效产品使用报错问题之更新后,旧数据的完成时间导出来没有了如何解决
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。
|
4天前
|
关系型数据库 MySQL 数据处理
Flink CDC产品常见问题之写入顺序不符合预期如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
4天前
|
传感器 SQL Java
Flink撤回机制问题之撤回机制不起作用如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
4天前
测试沟通不畅时该如何解决?
测试沟通不畅时该如何解决?
158 0
|
12月前
|
测试技术
测试时间不够,项目要如期发布如何保证测试质量
1.定下测试优先级,测试策略,即优先测试哪些功能,是不是保主要流程和界面样式,其他分支流程和细节可以留待后面测试优化?2.bug是不是只确保严重等级以上的完全修复,其他尽量修复,不行留待后续版本解决?3.人员是不是可以借用,比如拉上产品、运营一起测试?4.协调好万分无奈的加班计划,尽可能给测试留下时间。
|
Kubernetes 测试技术 Go
分享:一文搞清楚应用发布到k8s集群的基本流程
分享:一文搞清楚应用发布到k8s集群的基本流程
319 0