1 kafka集群环境的安装
注意:kafka集群依赖于zk集群,一定要保证zk集群的可用
验证zk集群是否可用:bin/zkServer.sh status 一定要保证出现一个leader,其他的都是follower即可
2 kafka集群环境搭建总结:
下载软件安装包并上传服务器
解压安装包然后修改配置文件
将安装包发送到其他服务器,并且修改其他服务器的配置文件
启动服务
3 Kafka集群操作
3.1 创建topic
bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181
3.2 查看topic
bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
3.3 生产数据
bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test
3.4 消费数据
bin/kafka-console-consumer.sh --from-beginning --topic test --zookeeper node01:2181,node02:2181,node03:2181
3.5 查看topic的一些信息
bin/kafka-topics.sh --describe --topic test --zookeeper node01:2181
3.6 修改topic的配置属性
bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --config flush.messages=1
3.7 删除topic
bin/kafka-topics.sh --zookeeper node01:2181 --delete --topic test