安装部署
集群规划
hadoop102 |
hadoop103 |
hadoop104 |
zk |
zk |
zk |
kafka |
kafka |
kafka |
集群部署
下载
官方下载地址：http://kafka.apache.org/downloads.html
安装
- 解压安装包 ：tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
- 修改解压后的文件名称：mv kafka_2.12-3.0.0/ kafka
- 进入到/opt/module/kafka目录，修改配置文件
[kunfire@hadoop102 kafka]$ cd config/ [kunfire@hadoop102 config]$ vim server.properties
输入以下内容
#broker的全局唯一编号，不能重复，只能是数字。broker.id=0#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接收套接字的缓冲区大小socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小socket.request.max.bytes=104857600#kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔log.dirs=/opt/module/kafka/datas #topic在当前broker上的分区个数num.partitions=1#用来恢复和清理data下数据的线程数量num.recovery.threads.per.data.dir=1# 每个topic创建时的副本数，默认时1个副本offsets.topic.replication.factor=1#segment文件保留的最长时间，超时将被删除log.retention.hours=168#每个segment文件的大小，默认最大1Glog.segment.bytes=1073741824# 检查过期数据的时间，默认5分钟检查一次是否数据过期log.retention.check.interval.ms=300000#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
- 分发安装包(xsync 脚本再之前的文章有介绍)
[kufire@hadoop102 module]$ xsync kafka/
- 分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重复，整个集群中唯一。
- 配置环境变量
在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置
[kufire@hadoop102 module]$ sudovim /etc/profile.d/my_env.sh 增加如下内容: #KAFKA_HOMEexportKAFKA_HOME=/opt/module/kafka exportPATH=$PATH:$KAFKA_HOME/bin 刷新一下环境变量 [kufire@hadoop102 module]$ source /etc/profile 分发环境变量文件到其他节点，并source。 [kufire@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh [kufire@hadoop103 module]$ source /etc/profile [kufire@hadoop104 module]$ source /etc/profile
- 启动集群
1）先启动Zookeeper集群，然后启动Kafka ：zk.sh start
2）依次在hadoop102、hadoop103、hadoop104节点上启动Kafka。
[kufire@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties [kufire@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties [kufire@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
注意：配置文件的路径要能够到server.properties。
- 关闭集群
[kufire@hadoop102 kafka]$ bin/kafka-server-stop.sh [kufire@hadoop103 kafka]$ bin/kafka-server-stop.sh [kufire@hadoop104 kafka]$ bin/kafka-server-stop.sh
