一、 任务描述
本实验任务主要完成基于ubuntu环境的storm单机部署工作。通过完成本实验任务,要求学生掌握storm伪分布式部署的来操作流程和配置内容,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。
二、 任务目标
掌握storm伪分布部署的配置
三、 任务环境
本次环境是:Ubuntu16.04+apache-storm-1.1.1
四、 任务分析
伪分布环境的部署跟完全分布式之间很类似,只不过是由于机器数量有限,所以在一台机器上即完成类似分布式的配置,也需要正确设置好zookeeper并且启动zookeeper服务
♥ 知识链接
Storm与hadoop对比
在Hadoop中,一个MapReduce任务我们称之为一个job,在storm中,一个任务我们称之为Topology。Hadoop中,Mapreduce Job提交之后,任务执行完成之后就会自动结束。
Storm中,一个Topology会一直运行下去,这是因为Storm是一个实时计算平台,需要不断的处理最新的记录,计算出最新的结果,因此当然不能停止。
五、 任务实施
步骤1、解压缩
执行命令:cd /simple/soft进入soft目录,如图1所示。
图片1 进入压缩包目录
执行命令:ls查看storm安装包,如图2所示
图片2 查看storm安装包
执行命令:tar -zxvf apache-storm-1.0.2.tar.gz -C /simple进行解压缩,如图3所示
图片3 解压缩
进入simple目录,执行命令:ls查看storm解压后的文件夹并修改为简称storm,如图4所示
图片4 重命名解压文件
修改storm环境变量,在任意目录下执行命令:vim ~/.bashrc编辑配置文件,如图5所示
图片5 编辑环境变量
环境变量配置文件生效,执行命令:source ~/.bashrc,如图6所示
图片6 环境变量配置文件生效
对storm安装目录下的vim /simple/storm/conf/storm.yaml文件进行配置修改,如图7所示
图片7 修改配置
步骤2、启动storm
先启动zookeeper服务,进入zookeeper安装目录下的bin目录:cd /simple/zookeeper/bin执行命令./zkServer.sh start,如图8所示
图片8 启动zookeeper服务
在任一目录下执行命令:storm nimbus启动Storm nimbus服务,如图9所示
图9 启动Storm nimbus服务
再打开一个终端,在任一目录下执行命令:storm supervisor启动storm supervisor服务,如图10所示
图片10 启动storm supervisor服务
再打开第三个终端,执行命令:jps查看开启的服务,如图11所示
图片11 查看开启的服务
♥ 温馨提示
注意执行使配置文件生效命令