五十二、 Storm 组件安装部署(MINI版)

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 五十二、 Storm 组件安装部署(MINI版)

前景连接:


Hadoop HA部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501


Spark组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501


Kafka组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501


环境准备:

编号 主机名 类型 用户

密码

1

master1-1 主节点 root
passwd

2


slave1-1


从节点

root
passwd

3


slave1-2

从节点
root
passwd


apache-storm-1.2.4.tar.gz


       注:提取码均为:0000


环境部署:


一、前置安装 Zookeeper 集群,截图并保存结果


       1、启动三台机器zookeeper


bin/zkServer.sh start

3249b5f0b907494b90c1e30a8ef11454.png

4e8a070e8d36408da16bf03f6ff606cc.png

2b4eb7b5187d475cbc2fa97c7207e964.png


二、解压 Storm 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 storm,截图并保存结果


       1、进入/h3cu目录找到storm


cd /h3cu

8322948e8cd84f82a775026824ac93b5.png


        2、解压storm


tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src


       3、重命名storm


mv apache-storm-1.2.4 storm

874f96d4509b40808972a91ee7bec4d0.png


三、配置“conf/storm.yaml”文件,截图并保存结果


四、传送配置好的“conf/storm.yaml”文件,截图并保存结果


五、配置 nimbus.seeds 文件,截图并保存结果


六、配置 supervisor.slots.ports,截图并保存结果


       1、进入storm/conf目录下


cd /usr/local/src/storm/conf


更改前:


23d748d176a144b184c9338041b81f32.png


更改后:


90b090db18284c1c89c88466f816e34a.png


参数配置:


# Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "master1-1"
     - "slave1-1"
     - "slave1-2"
# Nimbus的节点列表
nimbus.seeds: ["master1-1", "slave1-1"]
# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/usr/local/src/storm/data"
#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
     - 6700
     - 6701
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master1-1"
#web页面端口号
ui.port: 9999


       注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的


七、拷贝主节点 Storm 包到从节点,截图并保存结果


       1、集群分发


scp -r /usr/local/src/storm slave1-1:/usr/local/src/


scp -r /usr/local/src/storm slave1-2:/usr/local/src/

1d990a0f6f5942c6aa934432777d164e.png

88ae6d04df404cffb406bb260126c17c.png


八、设置 Storm 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果


       1、添加环境变量


vi /root/.bashrc


       2、使环境变量立即生效


source /root/.bashrc


九、在主节点和从节点启动,并截图保存(要求截到 url 和状态)


master端启动如下服务


       1、进入storm/bin目录下


cd /usr/local/src/storm/bin


       2、启动master和slave1的主节点 nimbus服务


nohup sh storm nimbus &


       3、启动从节点 supervisor服务


nohup sh storm supervisor &


       4、启动UI界面 ui


nohup sh storm ui &


       5、启动日志查看服务 logviewer


nohup sh storm logviewer &


slave端启动如下服务


       1、启动从节点 supervisor


nohup sh storm supervisor &


       2、启动日志查看服务 logviewer


nohup sh storm logviewer &


监控各节点的状态(web端)


       1、浏览器输入master1-1:9999查看集群状态


master1-1:9999

f3247325eec64d61b344784ddf2813e7.png


a1433f8630ac463aafd3468db0197268.png

3bdde5bd7881449ab121761cc3021d5a.png

35a44a932dbc46d1abf9a08de5bdf20b.png


Storm 组件安装部署(MINI版)完成

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
Java 关系型数据库 MySQL
DataX教程(10)- DataX插件热插拔原理
DataX教程(10)- DataX插件热插拔原理
638 0
|
SQL 分布式计算 资源调度
CDH+Kylin三部曲之二:部署和设置
上一篇文章完成了所有准备工作,现在可以来部署和启动Kylin了
211 5
CDH+Kylin三部曲之二:部署和设置
|
SQL 资源调度 分布式计算
CDH+Kylin三部曲之三:Kylin官方demo
本文是《CDH+Kylin三部曲》系列的终篇,一起来实践kylin官方的demo
117 2
CDH+Kylin三部曲之三:Kylin官方demo
|
分布式计算 Hadoop
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(1)
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)
102 0
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(1)
|
存储 分布式计算 Hadoop
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(2)
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)
129 0
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(2)
|
资源调度 分布式计算 Hadoop
基于mac构建大数据伪分布式学习环境(十一)-部署Flink1.14.5
本文主要讲解实时计算引擎Flink的部署,并使用word count实例来验证部署结果
163 0
|
大数据 数据库连接 DataX
基于mac构建大数据伪分布式学习环境(十二)-部署DataX+DataX Web
本文主要讲解阿里异构多数据源迁移工具DataX与其web管理界面部署
611 0
|
分布式计算 Java Hadoop
Flink 安装部署、环境配置及运行应用程序(一)| 学习笔记
快速学习 Flink 安装部署、环境配置及运行应用程序。
|
资源调度 分布式计算 Java
Flink 安装部署、环境配置及运行应用程序(二)| 学习笔记
快速学习 Flink 安装部署、环境配置及运行应用程序。
|
Java 大数据
基于mac构建大数据伪分布式学习环境(十二)-部署Sqoop
本文主要讲解数据迁移工具Sqoop的部署
100 0