环境准备:
centos
zookeeper正常运行
storm-1.2.4
环境搭建:
一、下载安装:
1、storm官方下载地址:
Apache Downloads
https://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.4/apache-storm-1.2.4.tar.gz
2、解压:
tar -zxvf apache-storm-1.2.4.tar.gz -C /home/
3、重命名:
mv apache-storm-1.2.4 storm
二、环境变量
vim /etc/profile
使环境变量立即生效:
source /etc/profile
三、修改配置文件
1、 修改 ${STORM_HOME}/conf/storm.yaml文件:
vim storm.yaml
注:该文件可以看到全部为注释行,改为如下配置
# Zookeeper集群的主机列表 storm.zookeeper.servers: - "master" - "slave1" - "slave2" # Nimbus的节点列表 nimbus.seeds: ["master", "slave1"] # Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等) storm.local.dir: "/home/storm/data" #workers进程的端口,每个worker进程会使用一个端口来接收消息 supervisor.slots.ports: - 6700 - 6701 #指定storm集群中的nimbus节点所在的服务器 nimbus.host: "master" #web页面端口号 ui.port: 9999
注:supervisor.slots.ports 参数用来配置 workers 进程接收消息的端口,默认每个 supervisor 节点上会启动 4 个 worker,当然你也可以按照自己的需要和服务器性能进行设置,假设只想启动 2 个 worker 的话,此处配置 2 个端口即可。
注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的
四、文件分发
scp -r /home/storm/ slave1:/home/
scp -r /home/storm/ slave2:/home/
五、启动Zookeeper集群
bin/zkServer.sh start
bin/zkServer.sh status
六、启动Storm集群
在master和slave1节点上进入${STORM_HOME}/bin 目录下:
1、启动master和slave1的主节点 nimbus服务(注意上面的配置文件):
nohup sh storm nimbus &
2、启动从节点 supervisor服务:
nohup sh storm supervisor &
3、启动UI界面 ui:
nohup sh storm ui &
4、启动日志查看服务 logviewer:
nohup sh storm logviewer &
在slave2节点上只需要启动 supervisor 服务和 logviewer 服务:
1、启动从节点 supervisor:
nohup sh storm supervisor &
2、启动日志查看服务 logviewer:
nohup sh storm logviewer &
七、监控各节点的状态(web端):
浏览器输入:
master:9999
注:这里使用的端口号与 ${STORM_HOME}/conf/storm.yaml配置文件中的相同
八、停止进程
注:对于storm的进程只有使用kill命令来结束进程这一种方式
如下示范:
注:jps命令后为: 进程号 + 进程名称
centos安装storm(集群模式)完成