前景连接:
Hadoop HA部署(MINI版)
https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501
Spark组件部署(MINI版)
https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501
Kafka组件部署(MINI版)
https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501
环境准备:
编号 | 主机名 | 类型 | 用户 | 密码 |
1 |
master1-1 | 主节点 | root | passwd |
2 |
slave1-1 |
|
root | passwd |
3 |
slave1-2 |
从节点 |
root | passwd |
apache-storm-1.2.4.tar.gz
注:提取码均为:0000
环境部署:
一、前置安装 Zookeeper 集群,截图并保存结果
1、启动三台机器zookeeper
bin/zkServer.sh start
二、解压 Storm 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 storm,截图并保存结果
1、进入/h3cu目录找到storm
cd /h3cu
2、解压storm
tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src
3、重命名storm
mv apache-storm-1.2.4 storm
三、配置“conf/storm.yaml”文件,截图并保存结果
四、传送配置好的“conf/storm.yaml”文件,截图并保存结果
五、配置 nimbus.seeds 文件,截图并保存结果
六、配置 supervisor.slots.ports,截图并保存结果
1、进入storm/conf目录下
cd /usr/local/src/storm/conf
更改前:
更改后:
参数配置:
# Zookeeper集群的主机列表 storm.zookeeper.servers: - "master1-1" - "slave1-1" - "slave1-2" # Nimbus的节点列表 nimbus.seeds: ["master1-1", "slave1-1"] # Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等) storm.local.dir: "/usr/local/src/storm/data" #workers进程的端口,每个worker进程会使用一个端口来接收消息 supervisor.slots.ports: - 6700 - 6701 #指定storm集群中的nimbus节点所在的服务器 nimbus.host: "master1-1" #web页面端口号 ui.port: 9999
注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的
七、拷贝主节点 Storm 包到从节点,截图并保存结果
1、集群分发
scp -r /usr/local/src/storm slave1-1:/usr/local/src/
scp -r /usr/local/src/storm slave1-2:/usr/local/src/
八、设置 Storm 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果
1、添加环境变量
vi /root/.bashrc
2、使环境变量立即生效
source /root/.bashrc
九、在主节点和从节点启动,并截图保存(要求截到 url 和状态)
master端启动如下服务
1、进入storm/bin目录下
cd /usr/local/src/storm/bin
2、启动master和slave1的主节点 nimbus服务
nohup sh storm nimbus &
3、启动从节点 supervisor服务
nohup sh storm supervisor &
4、启动UI界面 ui
nohup sh storm ui &
5、启动日志查看服务 logviewer
nohup sh storm logviewer &
slave端启动如下服务
1、启动从节点 supervisor
nohup sh storm supervisor &
2、启动日志查看服务 logviewer
nohup sh storm logviewer &
监控各节点的状态(web端)
1、浏览器输入master1-1:9999查看集群状态
master1-1:9999
Storm 组件安装部署(MINI版)完成