从实战中认识Kafka消费组

简介: 从实战中认识Kafka消费组

本文属于学习的第二阶段:[从运维实战的角度学习Kafka],本文重点介绍kafka-consumer-groups运维命令的使用,从运维、使用驱动对消费组的了解。


1、Kafka 消费组运维实战


image.png

image.png

image.png

接下来对一些要点做一个简单的说明与举例。


1.1 --members 显示消费组成员


在使用--describe选项查看一个消费组信息时会详细显示各个分区的消费情况,而加上--members类似一个分组,以客户端为维度的汇总信息,如下图所示:

b5ea14432701af82d792bbdf5f5ec00e.png


1.2 --state 显示消费组状态


该选项主要用于显示消费组的状态,使用示例如下图所示:

775aa75ab35c70d46660a4379bc81998.png

其列说明如下:


  • COORDINATOR (ID)
    该消费组的控制协调器,例如协调分区重平衡等操作,不同的消费组的协调器所在的Broker不同。
  • ASSIGNMENT-STRATEGY
    分区负载算法,目前Kafka支持Rrange与RoundRobin两种分配上算法,默认为Range,其含义如下图所示:
    432c3122e08e9f1b5b0ffee0901f325b.png
  • State
    消费者状态,主要包括Dead, Stable(稳定状态,可消费消息), CompletingRebalance(正在重平衡), PreparingRebalance(准备重平衡), empty(所有消费不在线)
  • MEMBERS
    成员个数。


1.2 --reset-offsets 重置消费位点


重置消费位点是kafka-consumer-groups的重点功能,我们对常用功能进行演示,只有操作,才能记忆深刻


800277ba4876ea2157e88260c72a6596.png

Kafka的重置位点需要先停掉所有的消费者。

0cf7e825130d4b12433071899ddd0746.png

执行真正的位点重置需要加上 --execute选项,在真正执行之前,可以用--dry-run模拟执行。


2、总结


在Kafka中,消费组是自动创建的,并且kafka中的消费组并没有提供类似RocketMQ的广播消费模式,也没Topic那么多的运维属性,其实也可以理解,topic是负责具体的数据存储,而消费组只是拉取数据进行处理。

相关文章
|
14天前
|
消息中间件 缓存 Java
✈️【Kafka技术专题】「开发实战篇」深入实战探索Kafka的生产者的开发实现及实战指南
✈️【Kafka技术专题】「开发实战篇」深入实战探索Kafka的生产者的开发实现及实战指南
48 0
|
14天前
|
消息中间件 存储 Kafka
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
61 1
|
14天前
|
消息中间件 监控 Java
✈️【Kafka技术专题】「核心原理篇」深入实战探索Kafka的Broker的原理及可靠性机制分析
✈️【Kafka技术专题】「核心原理篇」深入实战探索Kafka的Broker的原理及可靠性机制分析
45 0
|
14天前
|
消息中间件 JSON Kafka
【十九】初学Kafka并实战整合SpringCloudStream进行使用
【十九】初学Kafka并实战整合SpringCloudStream进行使用
48 1
【十九】初学Kafka并实战整合SpringCloudStream进行使用
|
14天前
|
消息中间件 存储 Kafka
KafKa C++实战
KafKa C++实战
208 0
|
14天前
|
消息中间件 分布式计算 监控
腾讯技术官手撸笔记,全新演绎“Kafka部署实战”,已开源
我们知道,当下流行的MQ非常多,不过很多公司在技术选型上还是选择使用Kafka。与其他主流MQ进行对比,我们会发现Kafka最大的优点就是吞吐量高。实际上Kafka是高吞吐低延迟的高并发、高性能的消息中间件,配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
|
14天前
|
消息中间件 网络协议 Kafka
docker安装zk和kafka实战笔记
docker安装zk和kafka实战笔记
docker安装zk和kafka实战笔记
|
14天前
|
消息中间件 分布式计算 大数据
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战(附源码)
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战(附源码)
105 0
|
6月前
|
消息中间件 关系型数据库 MySQL
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
63 0
|
7月前
|
消息中间件 JSON 关系型数据库
[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋
[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋
101 1

热门文章

最新文章