一、 任务描述
本实验任务主要完成基于ubuntu环境的storm基础命令的使用。通过完成本实验任务,要求学生掌握storm中一些命令的使用格式和用途,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。
二、 任务目标
掌握storm的一些基础命令操作
三、 任务环境
本次环境是:Ubuntu16.04+apache-storm-1.1.1
四、 任务分析
在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息,新版Storm的命令行客户端提供了19个命令
♥ 知识链接
rebalance
经过试验发现, storm rebalance topology-name -n 调整worker数没有问题。
但在调整topology中某个spout或bolt的并行数时,有时候并不能生效。
如 storm rebalance topology-name -e bolt1=3 命令有时候会不生效。
五、 任务实施
步骤1、常用命令
执行命令:storm help查看storm拥有的命令,如图1所示。
图片1 查看storm命令
执行命令:storm activate topology-name激活指定的拓扑(前提是集群中有停止的拓扑,本实验集群中无暂停的拓扑,故无截图)
执行命令:storm classpath打印出Storm客户端运行命令时使用的类路径(classpath),如图2所示
图片2 storm classpath使用
执行命令:storm deactivate topology-name禁用指定的拓扑Spout(与activate相反)
执行命令:storm drpc启动一个DRPC守护进程,如图3所示
图片3 启动一个DRPC守护进程
执行命令:storm logviewer启动Logviewer守护进程(Logviewer提供一个Web接口查看Storm日志文件),如图4所示
图片4 启动Logviewer守护进程
执行命令:storm nimbus启动Nimbus守护进程,如图5所示
图片5 启动Nimbus守护进程
执行命令:storm supervisor启动supervisor守护进程,如图6所示
图片6 启动supervisor守护进程
执行命令:storm ui启动UI守护进程,如图7所示
图片7 启动UI守护进程
执行命令storm list查看任务执行情况,图示表示目前没有拓扑任务在运行(执行该命令前需启动storm的Nimbus和supervisor服务以及执行命令zkServer.sh start启动zookeeper服务),如图8所示
图片8 查看任务执行情况
执行命令:storm version打印Storm发布的版本号,如图9所示
图片9 查看Storm版本号
♥ 温馨提示
这些命令启动的服务不是后台执行的,如果手动停止,服务将会停止