环境准备:
centos 7
zookeeper正常运行
kafka_2.11-1.0.0.tgz
环境搭建:
一、安装:
1、免费下载:
kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载
kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.
https://download.csdn.net/download/m0_54925305/37705799
2、解压:
tar -zxvf kafka_2.11-1.0.0.tgz -C /home/
3、重命名:
mv kafka_2.11-1.0.0/ kafka
二、修改配置文件
1、修改 server.properties文件:
vim server.properties
A、修改zookeeper.connect:
注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2
B、修改log.dirs:
C、最后加入两行:
host.name=master delete.topic.enable=true
注:master这里为对应的节点名
2、创建logs文件:
由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:
mkdir logs
3、分发给slave1和slave2节点:
4、分别修改slave1和slave2的server.properties文件:
A、修改broker.id和host.name:
slave1节点: broker.id=1 host.name=slave1 slave2节点: broker.id=2 host.name=slave2
三、启动zookeeper
1、进入zookeeper目录:
注:三张图三台机器,简洁明了
四、启动kafka
1、进入kafka安装目录:
bin/kafka-server-start.sh -daemon ./config/server.properties &
注:三台机器,全部启动,查看节点
五、测试
1、在mastr上创建topic-test
./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test
2、在master,slave1,slave2上查看已创建的topic列表 test:
3、在master上启动生产者:
./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test
4、在slave上启动消费者:
./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test
注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束
5、删除主题:
./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test
6、停止kafka集群:
./bin/kafka-server-stop.sh
centos安装kafka,集群模式(生产者消费者部署测试)完成