五十二、 Storm 组件安装部署(MINI版)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,182元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 五十二、 Storm 组件安装部署(MINI版)

前景连接:


Hadoop HA部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501


Spark组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501


Kafka组件部署(MINI版)

https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501


环境准备:

编号 主机名 类型 用户

密码

1

master1-1 主节点 root
passwd

2


slave1-1


从节点

root
passwd

3


slave1-2

从节点
root
passwd


apache-storm-1.2.4.tar.gz


       注:提取码均为:0000


环境部署:


一、前置安装 Zookeeper 集群,截图并保存结果


       1、启动三台机器zookeeper


bin/zkServer.sh start

3249b5f0b907494b90c1e30a8ef11454.png

4e8a070e8d36408da16bf03f6ff606cc.png

2b4eb7b5187d475cbc2fa97c7207e964.png


二、解压 Storm 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 storm,截图并保存结果


       1、进入/h3cu目录找到storm


cd /h3cu

8322948e8cd84f82a775026824ac93b5.png


        2、解压storm


tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src


       3、重命名storm


mv apache-storm-1.2.4 storm

874f96d4509b40808972a91ee7bec4d0.png


三、配置“conf/storm.yaml”文件,截图并保存结果


四、传送配置好的“conf/storm.yaml”文件,截图并保存结果


五、配置 nimbus.seeds 文件,截图并保存结果


六、配置 supervisor.slots.ports,截图并保存结果


       1、进入storm/conf目录下


cd /usr/local/src/storm/conf


更改前:


23d748d176a144b184c9338041b81f32.png


更改后:


90b090db18284c1c89c88466f816e34a.png


参数配置:


# Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "master1-1"
     - "slave1-1"
     - "slave1-2"
# Nimbus的节点列表
nimbus.seeds: ["master1-1", "slave1-1"]
# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/usr/local/src/storm/data"
#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
     - 6700
     - 6701
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master1-1"
#web页面端口号
ui.port: 9999


       注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的


七、拷贝主节点 Storm 包到从节点,截图并保存结果


       1、集群分发


scp -r /usr/local/src/storm slave1-1:/usr/local/src/


scp -r /usr/local/src/storm slave1-2:/usr/local/src/

1d990a0f6f5942c6aa934432777d164e.png

88ae6d04df404cffb406bb260126c17c.png


八、设置 Storm 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果


       1、添加环境变量


vi /root/.bashrc


       2、使环境变量立即生效


source /root/.bashrc


九、在主节点和从节点启动,并截图保存(要求截到 url 和状态)


master端启动如下服务


       1、进入storm/bin目录下


cd /usr/local/src/storm/bin


       2、启动master和slave1的主节点 nimbus服务


nohup sh storm nimbus &


       3、启动从节点 supervisor服务


nohup sh storm supervisor &


       4、启动UI界面 ui


nohup sh storm ui &


       5、启动日志查看服务 logviewer


nohup sh storm logviewer &


slave端启动如下服务


       1、启动从节点 supervisor


nohup sh storm supervisor &


       2、启动日志查看服务 logviewer


nohup sh storm logviewer &


监控各节点的状态(web端)


       1、浏览器输入master1-1:9999查看集群状态


master1-1:9999

f3247325eec64d61b344784ddf2813e7.png


a1433f8630ac463aafd3468db0197268.png

3bdde5bd7881449ab121761cc3021d5a.png

35a44a932dbc46d1abf9a08de5bdf20b.png


Storm 组件安装部署(MINI版)完成

相关文章
|
NoSQL Java Redis
Seata常见问题之实现openfeign远程调用失败如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
Seata常见问题之实现openfeign远程调用失败如何解决
|
SQL 分布式计算 监控
大数据最后一公里——2021年五大开源数据可视化BI方案对比
大数据在经过前几年的野蛮生长以后,开始与数据中台的概念一同向着更实际的方向落地。有人问,数据可视化是不是等同于数据大屏。数据大屏是数据可视化的一部分,其承载更多的是展示与监控的功能。 而真正对业务产生影响的,确是比较低调的自助数据可视化系统(商用的一般称之为BI系统),支撑着公司的指标体系,为业务的发展,企业的数字化驱动提供帮助。
1987 0
大数据最后一公里——2021年五大开源数据可视化BI方案对比
|
存储 关系型数据库 块存储
Ceph 磁盘损坏现象和解决方法
Damaged disks 对于存储系统,磁盘是消耗品,损坏是很常见的,所以这篇文章记录一下 Ceph 中出现磁盘损坏时的现象,以及如何定位和更换损坏的磁盘。
2392 0
|
7月前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
1746 45
|
弹性计算 小程序
阿里云免费学生服务器购买及续费指南
阿里云高效计划:学生用户可以免费领取一台阿里云服务器,未参与过高校学生免费领取ECS活动的用户,通过学生身份认证及续费任务,最多可领取1+6个月免费ECS资源。如果你想基于ECS搭建云上博客或者学习云服务器的搭建与维护,现在可以免费申请一台云服务器。阿里云的高校计划,面向学生用户提供免费的云服务器福利,通过学生身份认证及续费任务后,最多可领取7个月免费云服务器ECS资源。
阿里云免费学生服务器购买及续费指南
|
机器学习/深度学习
YOLOv5改进 | 损失函数篇 | 更加聚焦的边界框损失Focaler-IoU | 二次创新Inner-FocalerIoU
YOLOv5改进 | 损失函数篇 | 更加聚焦的边界框损失Focaler-IoU | 二次创新Inner-FocalerIoU
848 2
|
消息中间件 网络安全 RocketMQ
寻找RocketMQ首席评测官 :创建专有网络VPC操作指引
在领取RocketMQ免费试用时,会有创建VPC的过程。本文说明如何创建专有网络VPC。
2059 3
|
11月前
|
Linux
CMake在linux上的使用
这篇文章介绍了在Linux系统上使用CMake的基本步骤,包括安装CMake、创建和编辑CMakeLists.txt文件、生成构建文件以及编译和安装项目的命令。
390 0
|
Kubernetes 安全 Cloud Native
云上攻防-云原生篇&Kubernetes&K8s安全&API&Kubelet未授权访问&容器执行
云上攻防-云原生篇&Kubernetes&K8s安全&API&Kubelet未授权访问&容器执行
281 3
|
开发者 Java
JVM内存问题之top命令的物理内存信息中,'used'和'free','avail Mem'分别表示什么
JVM内存问题之top命令的物理内存信息中,'used'和'free','avail Mem'分别表示什么
217 1

热门文章

最新文章