1.集群部署的基本流程
下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
2.集群部署的基础环境准备
安装前的准备工作(zk集群已经部署完毕)
- 关闭防火墙
chkconfig iptables off && setenforce 0
- 创建用户
groupadd realtime && useradd realtime && usermod -a -G realtime realtime
- 创建工作目录并赋权
mkdir /export mkdir /export/servers chmod 755 -R /export
- 切换到realtime用户下
su realtime
3.Kafka集群部署
1、下载安装包
http://kafka.apache.org/downloads.html
在linux中使用wget命令下载安装包
wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
2、解压安装包
tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -C /export/servers/ cd /export/servers/ ln -s kafka_2.11-0.8.2.2 kafka
3、修改配置文件
cp /export/servers/kafka/config/server.properties /export/servers/kafka/config/server.properties.bak vi /export/servers/kafka/config/server.properties
输入以下内容:
4、分发安装包
scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers
然后分别在各机器上创建软连
cd /export/servers/ ln -s kafka_2.11-0.8.2.2 kafka
5、再次修改配置文件
依次修改各服务器上配置文件的的 broker.id
,分别是0,1,2不得重复。
6、启动集群
依次在各节点上启动kafka
bin/kafka-server-start.sh config/server.properties