kakfa 常见错误(长期更新)

简介: kakfa 常见错误(长期更新)

一、消费者相关

1.1 消费组

1.1.1 查看消费组命令找不到消费组

详情: 运行以下命令后,控制台界面无任何输出

kafka-consumer-groups.sh --bootstrap-server 192.168.2.83:9092 --list

如下图:

1.png

解决方法:
指定消费者群组进行消费,成功消费后将自动创建所指定的消费者群组。

springboot指定消费者群组:消费者配置类添加下面代码(消费者配置类可查看springboot连接kafka

props.put(ConsumerConfig.GROUP_ID_CONFIG, "kakfa-test");

结果如图:

2.png

1.2 主题

1.2.1 kafka默认主题_consumer_offsets 不小心删除

详情: 删除了_consumer_offsets主题

如下图:

3.png

解决方法

  • 重新创建主题 __consumer_offsets
bin/kafka-topics.sh --bootstrap-server 192.168.2.86:9092 --topic __consumer_offsets --create
  • 重启kafka服务
  • 进行查看

    结果如图,可以看到主题__consumer_offsets:

4.png

不成功的检查一下 kafka 服务配置 ,添加:

auto.create.topic.enable=true

二、发布者相关

三、Spring Boot连接相关

3.1 消费者相关

3.1.1 连接报错

详情: springboot启动后连接kafka集群报错:协调器不正确,标记协调器未知。

Request joining group due to: rebalance failed due to 'This is not the correct coordinator.' (NotCoordinatorException)

如下图:

5.png

解决方法

该问题出现原因一般是因为消费者类配置不正确,或提供group id 有问题。若不清楚group id请显示的指定分区,避免将错误的group id写入。

 @KafkaListener(topicPartitions  =   { @TopicPartition(topic = "kafka-topic-test", partitions = { "0", "8" })
    })

3.1.1.2 消费报错

详情: 消费成功,但报错 This error handler cannot process 'org.apache.kafka.common.errors.InvalidGroupIdException's; no record information is available

如下图:
6.png

解决方法

这个提示很明显,没有提供可用的 group id。我们只需要在消费者配置中设置一个即可,这个错误的原因是未设置group id,但又使用了subscribe(topic) 或基于 Kafka 的偏移量管理策略使用组管理功能引起。

3.1.3 数据过期

报错信息org.apache.kafka.common.errors.TimeoutException: Expiring 10 record(s) for 主题名-0:120013 ms has passed since batch creation

报错原因:某些记录放入队列的速度比从客户端发送的速度快。
原因分析:生产者发送消息时,它们会存储在缓冲区中(在将它们发送到目标代理之前),并且记录会分组在一起以提高吞吐量。当新记录添加到批次中时,必须在可配置的时间窗口内发送,该时间窗口由 控制request.timeout.ms(默认设置为 30 秒)。如果批次在队列中的时间较长,则会抛出TimeoutException ,然后批次将记录从队列中删除,并且不会传递给代理。
解决方法: 增加 request.timeout.ms 的值,或者 减少 batch.size的值,然后使 linger.ms 为 0 ,重启 kafka

备注:如果这些都无效!兄弟,你得看看网络了。
目录
相关文章
|
3月前
|
消息中间件 存储 分布式计算
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
51 4
|
3月前
|
运维 监控 安全
自动恢复机制在哪些情况下可能无法正常工作,有哪些替代方案?
自动恢复机制在哪些情况下可能无法正常工作,有哪些替代方案?
105 0
|
5月前
|
消息中间件 存储 Kafka
【Kafka大揭秘】掌握这些秘籍,让你的消息状态跟踪稳如老狗,再也不怕数据丢失的尴尬时刻!
【8月更文挑战第24天】Kafka作为一个领先的分布式流数据平台,凭借其出色的性能和扩展性广受青睐。为了保障消息的可靠传输与处理,Kafka提供了一系列核心机制:生产者确认确保消息成功到达;消费者位移管理支持消息追踪与恢复;事务性消息保证数据一致性;Kafka Streams的状态存储则适用于复杂的流处理任务。本文将详细解析这些机制并附带示例代码,帮助开发者构建高效稳定的消息处理系统。
55 5
|
5月前
|
负载均衡
异步任务处理系统问题之任务去重机制工作的问题如何解决
异步任务处理系统问题之任务去重机制工作的问题如何解决
|
6月前
|
存储 Windows
删除的视频怎样才能恢复?详尽指南
误删视频别慌,本文概览实用恢复技巧。首要行动:停用涉事存储以防数据覆盖。探索回收站,检索近期删除。备份是宝藏,搜寻云或外置硬盘。软件救星谨慎付费,试用验证。极端情况,专家服务可开盘恢复,代价高昂需权衡。
删除的视频怎样才能恢复?详尽指南
|
5月前
|
SQL 安全 测试技术
【数据守护者必备】SQL数据备份与恢复策略全解析:从全量到日志备份,手把手教你确保企业信息万无一失的实战技巧!
【8月更文挑战第31天】数据库是企业核心业务数据的基石,为防止硬件故障、软件错误或人为失误导致的数据丢失,制定可靠的备份与恢复策略至关重要。本文通过一个在线购物平台的案例,详细介绍了使用 SQL Server 进行全量备份、差异备份及事务日志备份的方法,并演示了如何利用 SQL Server Agent 实现自动化备份任务。此外,还提供了数据恢复的具体步骤和测试建议,确保数据安全与业务连续性。
253 0
|
8月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
消息中间件 存储 Shell
就软件研发问题之使用mqadmin工具拷贝授权信息到新Broker的问题如何解决
就软件研发问题之使用mqadmin工具拷贝授权信息到新Broker的问题如何解决
|
7月前
|
NoSQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何确保多并发sink同时更新Redis值时,数据能按事件时间有序地更新并且保持一致性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 分布式计算 数据安全/隐私保护
实时计算 Flink版产品使用问题之同步时数据密码会定期变化,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。