五十二、 Storm 组件安装部署(MINI版)

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 五十二、 Storm 组件安装部署(MINI版)

前景连接:


Hadoop HA部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501


Spark组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501


Kafka组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501


环境准备:

编号 主机名 类型 用户

密码

1

master1-1 主节点 root
passwd

2


slave1-1


从节点

root
passwd

3


slave1-2

从节点
root
passwd


apache-storm-1.2.4.tar.gz


       注:提取码均为:0000


环境部署:


一、前置安装 Zookeeper 集群,截图并保存结果


       1、启动三台机器zookeeper


bin/zkServer.sh start

3249b5f0b907494b90c1e30a8ef11454.png

4e8a070e8d36408da16bf03f6ff606cc.png

2b4eb7b5187d475cbc2fa97c7207e964.png


二、解压 Storm 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 storm,截图并保存结果


       1、进入/h3cu目录找到storm


cd /h3cu

8322948e8cd84f82a775026824ac93b5.png


        2、解压storm


tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src


       3、重命名storm


mv apache-storm-1.2.4 storm

874f96d4509b40808972a91ee7bec4d0.png


三、配置“conf/storm.yaml”文件,截图并保存结果


四、传送配置好的“conf/storm.yaml”文件,截图并保存结果


五、配置 nimbus.seeds 文件,截图并保存结果


六、配置 supervisor.slots.ports,截图并保存结果


       1、进入storm/conf目录下


cd /usr/local/src/storm/conf


更改前:


23d748d176a144b184c9338041b81f32.png


更改后:


90b090db18284c1c89c88466f816e34a.png


参数配置:


# Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "master1-1"
     - "slave1-1"
     - "slave1-2"
# Nimbus的节点列表
nimbus.seeds: ["master1-1", "slave1-1"]
# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/usr/local/src/storm/data"
#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
     - 6700
     - 6701
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master1-1"
#web页面端口号
ui.port: 9999


       注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的


七、拷贝主节点 Storm 包到从节点,截图并保存结果


       1、集群分发


scp -r /usr/local/src/storm slave1-1:/usr/local/src/


scp -r /usr/local/src/storm slave1-2:/usr/local/src/

1d990a0f6f5942c6aa934432777d164e.png

88ae6d04df404cffb406bb260126c17c.png


八、设置 Storm 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果


       1、添加环境变量


vi /root/.bashrc


       2、使环境变量立即生效


source /root/.bashrc


九、在主节点和从节点启动,并截图保存(要求截到 url 和状态)


master端启动如下服务


       1、进入storm/bin目录下


cd /usr/local/src/storm/bin


       2、启动master和slave1的主节点 nimbus服务


nohup sh storm nimbus &


       3、启动从节点 supervisor服务


nohup sh storm supervisor &


       4、启动UI界面 ui


nohup sh storm ui &


       5、启动日志查看服务 logviewer


nohup sh storm logviewer &


slave端启动如下服务


       1、启动从节点 supervisor


nohup sh storm supervisor &


       2、启动日志查看服务 logviewer


nohup sh storm logviewer &


监控各节点的状态(web端)


       1、浏览器输入master1-1:9999查看集群状态


master1-1:9999

f3247325eec64d61b344784ddf2813e7.png


a1433f8630ac463aafd3468db0197268.png

3bdde5bd7881449ab121761cc3021d5a.png

35a44a932dbc46d1abf9a08de5bdf20b.png


Storm 组件安装部署(MINI版)完成

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
消息中间件 关系型数据库 MySQL
Window环境下安装大数据框架
虽然公司配了mac,不过家里的电脑还是上学时候的拯救者,学习大数据框架的时候也基本是直接上虚拟机,每次打开电脑,打开虚拟机,再打开xshell,真的是烦,正好最近重装了一下电脑,于是就想着结合scoop+docker优化一下之前的虚拟机+xshell的路线。
539 0
Window环境下安装大数据框架
|
存储 资源调度 程序员
Flink on Yarn三部曲之二:部署和设置
本文是《Flink on Yarn三部曲》系列的第二篇,前面已经为部署做好了准备,现在可以一起来部署和启动Yarn环境了
286 0
Flink on Yarn三部曲之二:部署和设置
|
存储 资源调度 Kubernetes
Flink on Yarn_K8S 原理剖析及实践(二)| 学习笔记
快速学习 Flink on Yarn_K8S 原理剖析及实践。
Flink on Yarn_K8S 原理剖析及实践(二)| 学习笔记
|
资源调度 Kubernetes 监控
Flink on Yarn_K8S 原理剖析及实践(一)| 学习笔记
快速学习 Flink on Yarn_K8S 原理剖析及实践。
Flink on Yarn_K8S 原理剖析及实践(一)| 学习笔记
|
资源调度 分布式计算 Hadoop
基于mac构建大数据伪分布式学习环境(十一)-部署Flink1.14.5
本文主要讲解实时计算引擎Flink的部署,并使用word count实例来验证部署结果
168 0
|
分布式计算 Java Hadoop
Flink 安装部署、环境配置及运行应用程序(一)| 学习笔记
快速学习 Flink 安装部署、环境配置及运行应用程序。
|
资源调度 分布式计算 Java
Flink 安装部署、环境配置及运行应用程序(二)| 学习笔记
快速学习 Flink 安装部署、环境配置及运行应用程序。
|
消息中间件 分布式计算 Hadoop
五十一、Kafka组件部署(MINI版)
五十一、Kafka组件部署(MINI版)
五十一、Kafka组件部署(MINI版)
|
分布式计算 Hadoop Scala
五十、Spark组件部署(MINI版)
五十、Spark组件部署(MINI版)
五十、Spark组件部署(MINI版)
|
存储 分布式计算 Hadoop
四十九、Hadoop HA部署(MINI版)(二)
四十九、Hadoop HA部署(MINI版)(二)
四十九、Hadoop HA部署(MINI版)(二)