storm基础命令操作

简介: storm基础命令操作

一、 任务描述

本实验任务主要完成基于ubuntu环境的storm基础命令的使用。通过完成本实验任务,要求学生掌握storm中一些命令的使用格式和用途,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。


二、 任务目标

掌握storm的一些基础命令操作


三、 任务环境

本次环境是:Ubuntu16.04+apache-storm-1.1.1


四、 任务分析

在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息,新版Storm的命令行客户端提供了19个命令


♥ 知识链接

rebalance

 经过试验发现, storm rebalance topology-name -n 调整worker数没有问题。

 但在调整topology中某个spout或bolt的并行数时,有时候并不能生效。

 如 storm rebalance topology-name -e bolt1=3 命令有时候会不生效。


五、 任务实施

步骤1、常用命令

执行命令:storm help查看storm拥有的命令,如图1所示。

bb9965c16ebd4b94a9e58a5d3cf1c5df.png

图片1 查看storm命令


执行命令:storm activate topology-name激活指定的拓扑(前提是集群中有停止的拓扑,本实验集群中无暂停的拓扑,故无截图)

 执行命令:storm classpath打印出Storm客户端运行命令时使用的类路径(classpath),如图2所示

dcf58402e0c3450eac1722c14ac866fa.png


图片2 storm classpath使用


执行命令:storm deactivate topology-name禁用指定的拓扑Spout(与activate相反)


执行命令:storm drpc启动一个DRPC守护进程,如图3所示

0c33bc4333b6480c91f8c1f118a76c26.png


图片3 启动一个DRPC守护进程


执行命令:storm logviewer启动Logviewer守护进程(Logviewer提供一个Web接口查看Storm日志文件),如图4所示

882f391ccf6c44bc8d00d6d197ef1cac.png


图片4 启动Logviewer守护进程


执行命令:storm nimbus启动Nimbus守护进程,如图5所示

2c267d304e68486d9f6b9519f097491b.png

图片5 启动Nimbus守护进程


执行命令:storm supervisor启动supervisor守护进程,如图6所示


0d4e8abf41de4f4cbe894af6430c0809.png


图片6 启动supervisor守护进程


执行命令:storm ui启动UI守护进程,如图7所示

d2bc02bdddfd498f864e87c2ccb98f37.png

图片7 启动UI守护进程


执行命令storm list查看任务执行情况,图示表示目前没有拓扑任务在运行(执行该命令前需启动storm的Nimbus和supervisor服务以及执行命令zkServer.sh start启动zookeeper服务),如图8所示

8a5ff9aeada7429c89e64395247fd375.png


图片8 查看任务执行情况


执行命令:storm version打印Storm发布的版本号,如图9所示

acfc6652c6b74d55831667dc752e81b7.png

图片9 查看Storm版本号


♥ 温馨提示

这些命令启动的服务不是后台执行的,如果手动停止,服务将会停止

5b08466ef2394a07a8aed60a79c515f1.png


相关文章
|
流计算
Flink CDC程序都需要打包到flink集群去执行来保证高可用
Flink CDC程序都需要打包到flink集群去执行来保证高可用吗?
229 2
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
480 0
|
5月前
|
Shell 虚拟化
分布式系统详解--框架(Zookeeper-基本shell命令)
分布式系统详解--框架(Zookeeper-基本shell命令)
53 1
|
5月前
|
分布式计算 Hadoop Shell
分布式系统详解--框架(Hadoop-基本shell命令)
分布式系统详解--框架(Hadoop-基本shell命令)
40 0
|
流计算
110 Storm集群的进程及日志熟悉
110 Storm集群的进程及日志熟悉
68 0
|
安全 Java 流计算
109 Storm常用操作命令
109 Storm常用操作命令
55 0
|
存储 分布式计算 Hadoop
伪分布式安装部署(运行MapReduce程序)
伪分布式安装部署(运行MapReduce程序)
173 0
|
存储 Java Shell
分布式数据库HBase的常用操作的基本Shell命令的状态/版本/Help命令
HBase是一个分布式数据库系统,支持高性能、可伸缩、实时的数据存储和处理。在HBase中,我们可以使用Shell命令来进行常用的操作,如创建表、插入数据、查询数据、更新数据等。本文将介绍关于分布式数据库HBase的常用操作基本Shell命令的状态/版本/Help命令。
463 0
|
消息中间件 存储 Kafka
Kafka安装以及入门基本命令操作
Kafka安装以及入门基本命令操作
|
分布式计算 Hadoop 流计算
Storm集群部署与单词计数程序
Storm集群部署与单词计数程序
85 0