storm伪分布部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: storm伪分布部署

一、 任务描述

本实验任务主要完成基于ubuntu环境的storm单机部署工作。通过完成本实验任务,要求学生掌握storm伪分布式部署的来操作流程和配置内容,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。


二、 任务目标

掌握storm伪分布部署的配置


三、 任务环境

本次环境是:Ubuntu16.04+apache-storm-1.1.1


四、 任务分析

伪分布环境的部署跟完全分布式之间很类似,只不过是由于机器数量有限,所以在一台机器上即完成类似分布式的配置,也需要正确设置好zookeeper并且启动zookeeper服务


♥ 知识链接

Storm与hadoop对比

 在Hadoop中,一个MapReduce任务我们称之为一个job,在storm中,一个任务我们称之为Topology。Hadoop中,Mapreduce Job提交之后,任务执行完成之后就会自动结束。

 Storm中,一个Topology会一直运行下去,这是因为Storm是一个实时计算平台,需要不断的处理最新的记录,计算出最新的结果,因此当然不能停止。


五、 任务实施

步骤1、解压缩

执行命令:cd /simple/soft进入soft目录,如图1所示。

05e95d817d9549dbaf0ab419eecfc15a.png

图片1 进入压缩包目录


执行命令:ls查看storm安装包,如图2所示


9f8e071d49b744b1a725cb44784251b3.png


图片2 查看storm安装包


执行命令:tar -zxvf apache-storm-1.0.2.tar.gz -C /simple进行解压缩,如图3所示

1ff6fca2716f4c8a95f75cfcb4360dd6.png

图片3 解压缩


进入simple目录,执行命令:ls查看storm解压后的文件夹并修改为简称storm,如图4所示

1bb16c85e5be4a9aa52cb0eac93c52c5.png



图片4 重命名解压文件


修改storm环境变量,在任意目录下执行命令:vim ~/.bashrc编辑配置文件,如图5所示

111d853fa8ec4606a686cf47805f17bd.png



图片5 编辑环境变量


环境变量配置文件生效,执行命令:source ~/.bashrc,如图6所示

b924017dce744f00b74bee6ef7471a51.png


图片6 环境变量配置文件生效

 对storm安装目录下的vim /simple/storm/conf/storm.yaml文件进行配置修改,如图7所示

eaf9a16279e14996903a011c9153bf53.png

图片7 修改配置


步骤2、启动storm

先启动zookeeper服务,进入zookeeper安装目录下的bin目录:cd /simple/zookeeper/bin执行命令./zkServer.sh start,如图8所示


5c989cefa26c4022a68760c6e2a005fe.png


图片8 启动zookeeper服务


在任一目录下执行命令:storm nimbus启动Storm nimbus服务,如图9所示


b6061b672c7b4d7c9831063c157d159e.png


图9 启动Storm nimbus服务


再打开一个终端,在任一目录下执行命令:storm supervisor启动storm supervisor服务,如图10所示

bc54952c451140719d6895c8222a7c8c.png



图片10 启动storm supervisor服务


再打开第三个终端,执行命令:jps查看开启的服务,如图11所示

bb0c5ef20ed7473fb32f11941a3d6ede.png



图片11 查看开启的服务


♥ 温馨提示

注意执行使配置文件生效命令

f45c184262aa4003a06b5a771b2d8fc5.png


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
分布式计算 Hadoop Java
Hadoop完全分布式集群搭建
Hadoop完全分布式集群搭建。本次通过阿里云结合其他两台云服务搭建,完全分布式的hadoop集群。以下总结以下操作步骤以及踩过的一些坑。
359 1
Hadoop完全分布式集群搭建
|
10天前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
8 0
|
9月前
|
分布式计算 资源调度 Hadoop
Hadoop单机伪分布式部署
Hadoop单机伪分布式部署
|
11月前
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
11月前
|
存储 分布式计算 网络协议
Hadoop完全分布式部署
Hadoop完全分布式部署
|
11月前
|
存储 分布式计算 资源调度
|
XML 分布式计算 安全
hadoop 配置 单机伪分布式
hadoop 配置 单机伪分布式
157 0
hadoop 配置 单机伪分布式
|
分布式计算 Hadoop 流计算
如何搭建Storm集群?
如何搭建Storm集群?
82 0
|
分布式计算 Java Hadoop
【Flink完全分布式环境搭建及应用,Standalone(开发测试)一】
【Flink完全分布式环境搭建及应用,Standalone(开发测试)一】
209 0
【Flink完全分布式环境搭建及应用,Standalone(开发测试)一】
|
分布式计算 Hadoop Java
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】
156 0
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】

相关实验场景

更多