kafka最常用命令清单

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: kafka版本:V0.2.10.1zookeeper版本:V3.4.11confluent版本:V3.3.0一、confluent相关启动

1、启动confluent:

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

1

-daemon的目的是为了后台运行,且能保证日志输出。

输出日志的路径为confluent的logs路径。


2、生产者——生成AVRO格式数据

./bin/kafka-avro-console-producer --broker-list 192.168.1.11:9092 --topic mytopic --property

value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

1

2

3、消费者——AVRO格式数据消费

./kafka-avro-console-consumer --topic mytopic  --bootstrap-server  192.168.1.11:9092

./kafka-avro-console-consumer --new-consume  --topic mytopic   --bootstrap-server  192.168.1.11:9092

1

2

4、启动scheme,监听8081端口

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

1

5、启动connector连接,监听8083端口

./bin/connect-distributed  -daemon ./etc/schema-registry/connect-avro-distributed.properties

1

6、利用restful API 接口创建connector

可借助postman工具。


curl -XGET 192.168.1.11:8083/connectors

curl -XDELETE 192.168.1.11:8083/connectors/某条连接

1

2

二、zookeeper相关

1、启动zookeeper

./zkServer.sh start

1

启动后,监听端口:2181


2、停止zookeeper

./zkServer.sh stop

1

三、kafka相关

1、启动kafka:

./kafka-server-start.sh -daemon ../config/server.properties

1

启动后,默认监听端口 9092


2、创建专题topic

在kafka的路径下,


./kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 1 --partitions 5--topic mytopic

1

3、查看专题topic

./kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic mytopic

1

4、修改partition

./kafka-topics.sh --zookeeper  192.168.1.11:2181 --alter --topicmytopic  --partition 10

1

修改分片大小为10


5、启动生产者——生产数据(发送)

kafka的路径下,


bin/kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  mytopi

This is a message

This is another message

1

2

3

6、启动消费者

kafka的路径下,


./kafka-console-consumer.sh --bootstrap-server 192.168.1.11:9092 --topic mytopic --from-beginning

1

–from-beginning:从头开始读;

去掉–from-beginning:从最新处开始读。


7、删除topic

步骤1:删除topic

./kafka-topics.sh –zookeeper 192.168.1.11:2181 –delete –topic mytopic


步骤2:client删除操作

   1)打开zookeeper client

    执行:./bin/zkCli.sh  -server 192.168.1.11:2181

   2)在Zookeeper客户端下执行命令

       ls /brokers/topics

   3)在Zookeeper客户端下执行命令

       rmr /brokers/topics/mytopic

       其中,mytopic为要删除的topic。

   4)验证是否删除:

       ls /config/topics

       ls /brokers/topics      

       ls /admin/delete_topics


     Admin/delete_topic/下为待删除topic,

     如果在kafka中topic被删除,会有删除被标记,就是标记在这里。


  5)查看topic还在不在

 ./kafka-topics.sh --list --zookeeper  192.168.1.11:2181  | grep mytopic

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

以上,仅作为备忘。

相关文章
|
1月前
|
消息中间件 存储 Kafka
kafka常用命令
kafka常用命令
|
消息中间件 Kafka
【kafka】常用命令汇总
【kafka】常用命令汇总
|
消息中间件 Kafka 测试技术
【Kafka】(二十一)Kafka 常用命令
【Kafka】(二十一)Kafka 常用命令
458 0
|
消息中间件 Kafka
kafka的常用命令
1.kafka启动: ./kafka-server-start.sh ../config/server.properties & 2.创建topic: ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tes 3.查看kafka的topic:./kafka-topics.sh --zookeeper master:2181 --list 4.查看kafka某个topic下partition信息: ./kafka-topics.sh --des
|
消息中间件 存储 监控
Kafka 常用命令总结
在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了 GroupCoordinator 这个角色,另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets)中。 本文测试版本:kafka_2.11-2.2.0
290 0
|
消息中间件 Kafka
【kafka】常用命令汇总
【kafka】常用命令汇总
|
数据管理 Kafka 消息中间件
kafka最常用命令清单
这里有kafka最常用命令清单,请到文中寻找你需要的命令代码吧!
431 0
kafka最常用命令清单
|
消息中间件 Kafka
kafka 常用命令
kafka 是中间件中比较常用的队列,本文介绍日常工作中常用命令
770 0
|
消息中间件 Kafka 数据格式
Apache Kafka常用命令
1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.
4004 0
|
14天前
|
消息中间件 存储 Kafka
实时计算 Flink版产品使用问题之通过flink同步kafka数据进到doris,decimal数值类型的在kafka是正常显示数值,但是同步到doris表之后数据就变成了整数,该如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。