五十一、Kafka组件部署（MINI版）

Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501

https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501

Spark组件部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501

https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501

环境准备：

kafka_2.11-1.0.0.tgz

       注：提取码均为:0000

环境部署：

一、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求，并与 Kafka 环境适配，启动 Zookeeper 并截图保存结果

       1、启动三台机器zookeeper

bin/zkServer.sh start

二、解压 Kafka 安装包到“/usr/local/src”路径，并修改解压后文件夹名为 kafka，截图并保存结果

       1、进入/h3cu目录找到kafka

cd /h3cu

        2、解压kafka

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src

       3、重命名kafka

mv kafka_2.11-1.0.0 kafka

三、设置 Kafka 环境变量，并使环境变量只对当前 root 用户生效，截图并保存结果

       1、添加环境变量

vi /root/.bashrc

       2、使环境变量立即生效

source /root/.bashrc

四、修改 Kafka 相应文件，截图并保存结果

       1、进入kafka/config目录下

cd /usr/local/src/kafka/config

       2、修改 server.properties文件

vi server.properties

               A、修改zookeeper.connect，修改log.dirs，最后加入两行

更改前：

更改后：

更改前：

更改后：

最后加入：

host.name=master1-1
delete.topic.enable=true

       3、创建logs目录

mkdir logs

       注：由于kafka安装目录下默认没有logs目录，故在 kafka/ 下创建logs目录

       4、集群分发

scp -r /usr/local/src/kafka slave1-1:/usr/local/src/

scp -r /usr/local/src/kafka slave1-2:/usr/local/src/

       5、分别修改slave1和slave2的server.properties文件

slave1-1节点：

broker.id=1
host.name=slave1-1

slave1-2节点：

broker.id=2
host.name=slave1-2

五、启动 Kafka 并保存命令输出结果，截图并保存结果

进入kafka安装目录

       1、启动kafka

bin/kafka-server-start.sh -daemon ./config/server.properties  &

       注：启动kafka之前确保zookeeper已经启动，三台机器全部启动

六、创建指定 topic，并截图并保存结果

       1、在master上创建topic-test

./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test

七、查看所有的 topic 信息，并截图并保存结果

       1、查看所有topic信息

./bin/kafka-topics.sh --list --zookeeper localhost:2181

八、启动指定生产者（producer），并截图并保存结果

       1、在master上启动生产者

./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test

九、启动消费者（consumer），并截图并保存结果

       1、在slave启动消费者

./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test

十、测试生产者（producer），并截图并保存结果

       注：在生产者随便输入一些内容

十一、测试消费者（consumer），并截图并保存结果

       注：消费者将会自动打印生产者输入的内容

Kafka组件部署（MINI版）完成