Kafka安装配置
需要配置好zookeeper,其中zookeeper使用集群模式,分别在master,slave1,slave2作为其节点(若zookpeer已安装配置好,则无需再次配置)
一、解压
1. 将kafka安装包解压到/opt/module目录下
tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/
2. 改名(可不做)
mv kafka_2.12-2.4.1/ kafka-2.4.1
二、配置
1. 配置环境变量
vi /etc/profile
添加内容:
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
2. 修改文件 server.properties
vi /opt/module/kafka-2.4.1/config/server.properties
内容:
broker.id=0 (原本有,不用改)
log.dirs=/opt/module/kafka-2.4.1/logs(原本有,需要改)
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka(原本有,需要改)
三、分发
1,给slave1和2 分发环境变量文件
scp -r /etc/profile root@slave1:/etc/profile
scp -r /etc/profile root@slave2:/etc/profile
2,分发安装包
scp -r /opt/module/kafka-2.4.1/ root@slave1:/opt/module/
scp -r /opt/module/kafka-2.4.1/ root@slave2:/opt/module/
3,修改slave1和2的配置文件
slave1:
vi /opt/module/kafka-2.4.1/config/server.properties
将 broker.id=0 改成 broker.id=1
slave2:
vi /opt/module/kafka-2.4.1/config/server.properties
将 broker.id=0 改成 broker.id=2
4,使环境变量生效
三台机器:
source /etc/profile
四,验证
使用kafka-server-start.sh --version查看kafka的版本内容
五,任务
在每个节点启动Kafka,创建topic,其中toipic名称为installtopic,分区数为2,副本数为2
1,在三个节点的/opt/module/kafka-2.4.1/config
目录下,使用命令:kafka-server-start.sh -daemon server.properties
cd /opt/module/kafka-2.4.1/config
kafka-server-start.sh -daemon server.properties
使用jps查看,三个节点都有kafka
**
2,创建命令:
kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 2 --partitions 2 --topic installtopic
3,创建结果
kafka-topics.sh --bootstrap-server master:9092 --list