Kafka常见命令

kafka 启动命令

dir：kafka 安装位置

指定对应的配置文件启动

kafka-server-start.sh  [dir]config/server.properties

以后台方式启动

kafka-server-start.sh  -daemon [dir]config/server.properties

指定JMX 端口启动，指定JMX是为了可以方便的监控kafka集群（使用滴滴的logi会用到此端口）

JMX_PORT=9991 kafka-server-start.sh  -daemon [dir]config/server.properties

kafka 停止命令

kafka-server-stop.sh

或者

#1 jps 找到kafka的pid
jps
#2 通过kill -9 杀死进行
kill -9 pid

kafka topic 相关命令

#1.查看集群下所有topic
kafka-topics --zookeeper ZKserverIP:2181 --list

#2.具体查看某个topic 默认端口号为2181，应根据自己配置修改
kafka-topics --describe --zookeeper ZKserverIP:2181  --topic test


#3.创建topic
kafka-topics --create --zookeeper ZKserverIP:2181 --replication-factor 1 --partitions 3 --topic test

#4.删除某个topic
#删除之前需要先将server.properties文件中配置的delete.topic.enable=true更改一下
kafka-topics --delete --zookeeper ZKserverIP:2181 --topic test

#5.console创建生产者往topic中写入数据 默认端口号9092，根据自己配置修改端口号
kafka-console-producer --broker-list borkerServer:9092 --topic test

#6.console创建消费者消费topic数据
kafka-console-consumer --bootstrap-server borkerServer:9092 --topic test --from-beginning

#7查看topic上面的消息数  --time -1 表示要获取当前topic所有分区当前最大位移， --time -2 表示获取当前最早位移
kafka-run-class kafka.tools.GetOffsetShell --broker-list ZKserverIP:9092 --topic test --time -1

#8修改topic分区数 注意：分区数量只能增加，不能减少
kafka-topics --zookeeper ZKserverIP:2181 --alter --topic test --partitions 3

#9查看消费组信息
kafka-consumer-groups --bootstrap-server borkerServer:9092 --describe --group convert1

# 10describe有两个参数用于找出有问题的分区 
# --unavailable-partitions：列出所有没有首领的分区，这些分区已经处于离线状态，对于生产者和消费者来说是不可用的
# --under-replicated-partitions：列出所有包含不同步副本的分区。
kafka-topics.sh --zookeeper ZKserverIP:2181 --describe --unavailable-partitions
kafka-topics.sh --zookeeper ZKserverIP:2181 --describe --under-replicated-partitions

kafka 生产者

# 有多个broker，可以用逗号分隔开都写上
kafka-console-producer.sh --broker-list brokerServer:9092 --topic test

kafka 消费者

# 查看消费者最新消费到的消息
kafka-console-consumer.sh --zookeeper ZKserverIP:2181  --topic test
# 从第一条信息查看消费者消费到的消息
kafka-console-consumer.sh --zookeeper ZKserverIP:2181 --from-beginning --topic test
# 列出所有消费者群组
kafka-consumer-groups.sh --zookeeper ZKserverIP:2181 --list
# 列出test_group消费组的详细信息
kafka-consumer-groups.sh --zookeeper  ZKserverIP:2181 --describe --group test_group
# 删除消费者群组
kafka-consumer-groups.sh --zookeeper ZKserverIP:2181 --delete --group test_group
# 删除消费者群组中的topic
kafka-consumer-groups.sh --zookeeper ZKserverIP:2181 --delete --group test_group --topic test

kafka-run-class命令

# 导出偏移量
kafka-run-class.sh kafka.tools.ExportZkOffsets --zkconnect ZKserverIP:2181 --group testGroup --output-file test_group_offsets
# 查看test_group_offsets
cat test_group_offsets
# 导入偏移量
kafka-run-class.sh kafka.tools.ImportZkOffsets --zkconnect ZKserverIP:2181 --input-file test_group_offsets
# segment片段信息
kafka-run-class.sh kafka.tools.DumpLogSegments --files [dir]/logs/test-1/00000000000000000000.log
# segment片段信息 -print-data-log
kafka-run-class.sh kafka.tools.DumpLogSegments --files [dir]/logs/test-1/00000000000000000000.log -print-data-log