【kafka】常用命令汇总

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 【kafka】常用命令汇总

1查询

1.查看所有或者指定Topic的信息

查看Topic的分区情况 副本情况和 配置情况

## 所有
bin/kafka-topics.sh --describe --zookeeper xxxx 
##指定
bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称

输出

[root@ kafka]# bin/kafka-topics.sh --describe --zookeeper xxx.xx.xx.xx --topic SHI_TOPIC3
Topic:SHI_TOPIC3 PartitionCount:3 ReplicationFactor:1 Configs:cleanup.policy=compact
 Topic: SHI_TOPIC3 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
 Topic: SHI_TOPIC3 Partition: 1 Leader: 2 Replicas: 2 Isr: 2
 Topic: SHI_TOPIC3 Partition: 2 Leader: 1 Replicas: 1 Isr: 1

2.列出所有Topic

## topic列表查询
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
## topic列表查询(支持0.9版本+)
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3.新消费者列表查询

## 新消费者列表查询(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
## 新消费者列表查询(支持0.10版本+)
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

输出

[root@]# bin/kafka-consumer-groups.sh --bootstrap-server xxx.xxx.xxx --list
Note: This will not show information about old Zookeeper-based consumers.
consumer-id
consumer-id1
BASE-DEMO

4.显示某个消费组的消费详情(0.10.1.0版本+)

查看某个消费者有多少消费者,消费哪些Topic; 消费者分别消费哪个分区等等信息;并且消费到的位置offset

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

输出

[root@dev5_172_16_10_62 kafka]# bin/kafka-consumer-groups.sh --bootstrap-server  xxxx --describe --group consumer-id7
Note: This will not show information about old Zookeeper-based consumers.
TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
SHI_TOPIC3                     0          128             128             0          myClientId7-0-c6568666-b249-491a-a1e2-c3bd85f343c6/172.16.14.37                  myClientId7-0
SHI_TOPIC4                     0          0               0               0          myClientId7-0-c6568666-b249-491a-a1e2-c3bd85f343c6/172.16.14.37                  myClientId7-0

2TODO

相关文章
|
3月前
|
消息中间件 JSON 安全
Kafka常用命令归纳
本文档详细介绍了Kafka 2.2及以上版本中Topic的操作命令,包括创建、查看、修改及删除Topic,以及动态调整主题参数和限速。此外,还涵盖了数据生产和消费的相关命令与性能测试方法,并对内部Topic(如`__consumer_offsets`和`__transaction_state`)的操作进行了说明。最后,提供了常见错误处理方案及Kafka推荐配置,帮助用户更好地管理和优化Kafka集群。
|
3月前
|
消息中间件 Kafka 测试技术
Kafka常用命令大全及kafka-console-consumer.sh及参数说明
该文章汇总了Kafka常用命令,包括集群管理、Topic操作、生产者与消费者的命令行工具使用方法等,适用于Kafka的日常运维和开发需求。
596 2
|
5月前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
116 4
|
7月前
|
消息中间件 存储 关系型数据库
探究Kafka原理-2.Kafka基本命令实操(下)
探究Kafka原理-2.Kafka基本命令实操
85 0
|
7月前
|
消息中间件 存储 运维
探究Kafka原理-2.Kafka基本命令实操(上)
探究Kafka原理-2.Kafka基本命令实操
93 0
|
7月前
|
消息中间件 存储 Kafka
kafka常用命令
kafka常用命令
|
7月前
|
消息中间件 Java Kafka
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
119 0
|
消息中间件 Kafka Apache
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
545 0
|
消息中间件 Kafka Shell
116 Kafka常用操作命令
116 Kafka常用操作命令
38 0
|
消息中间件 缓存 Java
聊聊 Kafka:协调者 GroupCoordinator 源码剖析之 GROUP、OFFSET、HEARTBEAT 相关命令
聊聊 Kafka:协调者 GroupCoordinator 源码剖析之 GROUP、OFFSET、HEARTBEAT 相关命令
195 0

相关实验场景

更多
下一篇
DataWorks