kafka最常用命令清单

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: kafka版本:V0.2.10.1zookeeper版本:V3.4.11confluent版本:V3.3.0一、confluent相关启动

1、启动confluent:

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

1

-daemon的目的是为了后台运行,且能保证日志输出。

输出日志的路径为confluent的logs路径。


2、生产者——生成AVRO格式数据

./bin/kafka-avro-console-producer --broker-list 192.168.1.11:9092 --topic mytopic --property

value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

1

2

3、消费者——AVRO格式数据消费

./kafka-avro-console-consumer --topic mytopic  --bootstrap-server  192.168.1.11:9092

./kafka-avro-console-consumer --new-consume  --topic mytopic   --bootstrap-server  192.168.1.11:9092

1

2

4、启动scheme,监听8081端口

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

1

5、启动connector连接,监听8083端口

./bin/connect-distributed  -daemon ./etc/schema-registry/connect-avro-distributed.properties

1

6、利用restful API 接口创建connector

可借助postman工具。


curl -XGET 192.168.1.11:8083/connectors

curl -XDELETE 192.168.1.11:8083/connectors/某条连接

1

2

二、zookeeper相关

1、启动zookeeper

./zkServer.sh start

1

启动后,监听端口:2181


2、停止zookeeper

./zkServer.sh stop

1

三、kafka相关

1、启动kafka:

./kafka-server-start.sh -daemon ../config/server.properties

1

启动后,默认监听端口 9092


2、创建专题topic

在kafka的路径下,


./kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 1 --partitions 5--topic mytopic

1

3、查看专题topic

./kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic mytopic

1

4、修改partition

./kafka-topics.sh --zookeeper  192.168.1.11:2181 --alter --topicmytopic  --partition 10

1

修改分片大小为10


5、启动生产者——生产数据(发送)

kafka的路径下,


bin/kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  mytopi

This is a message

This is another message

1

2

3

6、启动消费者

kafka的路径下,


./kafka-console-consumer.sh --bootstrap-server 192.168.1.11:9092 --topic mytopic --from-beginning

1

–from-beginning:从头开始读;

去掉–from-beginning:从最新处开始读。


7、删除topic

步骤1:删除topic

./kafka-topics.sh –zookeeper 192.168.1.11:2181 –delete –topic mytopic


步骤2:client删除操作

   1)打开zookeeper client

    执行:./bin/zkCli.sh  -server 192.168.1.11:2181

   2)在Zookeeper客户端下执行命令

       ls /brokers/topics

   3)在Zookeeper客户端下执行命令

       rmr /brokers/topics/mytopic

       其中,mytopic为要删除的topic。

   4)验证是否删除:

       ls /config/topics

       ls /brokers/topics      

       ls /admin/delete_topics


     Admin/delete_topic/下为待删除topic,

     如果在kafka中topic被删除,会有删除被标记,就是标记在这里。


  5)查看topic还在不在

 ./kafka-topics.sh --list --zookeeper  192.168.1.11:2181  | grep mytopic

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

以上,仅作为备忘。

相关文章
|
3月前
|
消息中间件 JSON 安全
Kafka常用命令归纳
本文档详细介绍了Kafka 2.2及以上版本中Topic的操作命令,包括创建、查看、修改及删除Topic,以及动态调整主题参数和限速。此外,还涵盖了数据生产和消费的相关命令与性能测试方法,并对内部Topic(如`__consumer_offsets`和`__transaction_state`)的操作进行了说明。最后,提供了常见错误处理方案及Kafka推荐配置,帮助用户更好地管理和优化Kafka集群。
|
3月前
|
消息中间件 Kafka 测试技术
Kafka常用命令大全及kafka-console-consumer.sh及参数说明
该文章汇总了Kafka常用命令,包括集群管理、Topic操作、生产者与消费者的命令行工具使用方法等,适用于Kafka的日常运维和开发需求。
505 2
|
5月前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
114 4
|
7月前
|
消息中间件 存储 关系型数据库
探究Kafka原理-2.Kafka基本命令实操(下)
探究Kafka原理-2.Kafka基本命令实操
83 0
|
7月前
|
消息中间件 存储 运维
探究Kafka原理-2.Kafka基本命令实操(上)
探究Kafka原理-2.Kafka基本命令实操
93 0
|
7月前
|
消息中间件 存储 Kafka
kafka常用命令
kafka常用命令
|
7月前
|
消息中间件 Java Kafka
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
112 0
|
消息中间件 Kafka Apache
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
539 0
|
消息中间件 Kafka Shell
116 Kafka常用操作命令
116 Kafka常用操作命令
38 0
|
消息中间件 缓存 Java
聊聊 Kafka:协调者 GroupCoordinator 源码剖析之 GROUP、OFFSET、HEARTBEAT 相关命令
聊聊 Kafka:协调者 GroupCoordinator 源码剖析之 GROUP、OFFSET、HEARTBEAT 相关命令
190 0

热门文章

最新文章