开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 kafka 集群测试】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/643/detail/10697
环境篇之 kafka 集群测试
内容介绍
一,集群启停
二,关闭集群
三,测试
一,集群启停
Kafka 严重依赖 zookeeper,所以在启动 kafka 之前,必须先启动 zookeeper 集群,不论是外部的还是 kafka 自带的都要启动。
[root@hadoop01 kafka_2.11-1.1.1]# zkServer.sh start
[root@hadoop02 kafka_2.11-1.1.1]# zkServer.sh start
[root@hadoop03 kafka_2.11-1.1.1]# zkServer.sh start
启动好之后,就可以开始启动 kafka 集群了。
Kafka 是挂在后台启动的,也可以不用这种方式,可以直接用这段/bin/kafka-server-start.sh./config/server.properties
,是前端性的启动,输出信息会打印到屏幕上。依次每个节点启动 kafka 的 broker。
[root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties >/var/log/kafka.log 2>&1 &
我们需要进到 kafka 的目录下面,因为bin这个环境变量是可以不用的,/config/server.properties 是需要的。
再到第二台去启动:
[root@hadoop02kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh./config/server.properties > /var/1og/kafka.1og 2>&1 &
再到第三台启动,所有的启动命令是一样的。
[root@hadoop03kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh/config/server.properties > /var/1og/kafka.1og 2>&1 &
输入[root@hadoop03 kafka_2.11-1.1.1]#jps
回车
可以看到 kafka。
再在第二台第一台依次验证,都没有问题。
二,关闭集群
法一:脚本
[root@hadoop01 kafka_2.11-1.1.1]# kafka-server-stop.sh
注:
法一有的版本需要修改停止脚本,原内容如下:
PIDS=S(ps ax | grep -i 'kafka\.Kafka'l grep java | grep -v grep |awk '{fprint s1}')
修改后如下:
PIDS=S(ps ax| grep -i 'kafka' | grep java |grep -v grep |awk ‘{print s1}')
法二:直接 kill -9 pid
[root@hadoop01 kafka_2.11-1.1.1]# jps
4262 Kafka
2713 QuorumPeerMain
4590 Jps
[root@hadoop01 kafka_2.11-1.1.1]# kill -9 4262
要想关闭它的话,可以用. /bin/kafka-server-stop.sh,也就是说前面本来有的 bin 是可以不要的,前提是在配置文件下。包括启动里面的 bin 都是可以去掉的。
第一种就是直接用脚本去填。但是在填的时候,1.1的源码里面的脚本是有问题的,如果直接填这个脚本是关闭不了集群的。所以需要填修改之后的。
三,测试
[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh
输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --1ist --zookeeper hadoop01:2181/kafka
输入[root@hadoop01 kafka_2.11-1.1.1]#kafka-topics.sh --create--zookeeper hadoop01:2181,hadoop02:2181.hadoop03:2181/kafka -- rep1ication-factor 1 --partitions 1--topic test
这样就创建了一个 topic为test。就可以去使用控制台的生产者脚本,消费者脚本,这些在项目里直接用就可以了。