storm基础命令操作

简介: storm基础命令操作

一、 任务描述

本实验任务主要完成基于ubuntu环境的storm基础命令的使用。通过完成本实验任务,要求学生掌握storm中一些命令的使用格式和用途,为学生真正使用storm进行数据处理做基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。


二、 任务目标

掌握storm的一些基础命令操作


三、 任务环境

本次环境是:Ubuntu16.04+apache-storm-1.1.1


四、 任务分析

在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息,新版Storm的命令行客户端提供了19个命令


♥ 知识链接

rebalance

 经过试验发现, storm rebalance topology-name -n 调整worker数没有问题。

 但在调整topology中某个spout或bolt的并行数时,有时候并不能生效。

 如 storm rebalance topology-name -e bolt1=3 命令有时候会不生效。


五、 任务实施

步骤1、常用命令

执行命令:storm help查看storm拥有的命令,如图1所示。

bb9965c16ebd4b94a9e58a5d3cf1c5df.png

图片1 查看storm命令


执行命令:storm activate topology-name激活指定的拓扑(前提是集群中有停止的拓扑,本实验集群中无暂停的拓扑,故无截图)

 执行命令:storm classpath打印出Storm客户端运行命令时使用的类路径(classpath),如图2所示

dcf58402e0c3450eac1722c14ac866fa.png


图片2 storm classpath使用


执行命令:storm deactivate topology-name禁用指定的拓扑Spout(与activate相反)


执行命令:storm drpc启动一个DRPC守护进程,如图3所示

0c33bc4333b6480c91f8c1f118a76c26.png


图片3 启动一个DRPC守护进程


执行命令:storm logviewer启动Logviewer守护进程(Logviewer提供一个Web接口查看Storm日志文件),如图4所示

882f391ccf6c44bc8d00d6d197ef1cac.png


图片4 启动Logviewer守护进程


执行命令:storm nimbus启动Nimbus守护进程,如图5所示

2c267d304e68486d9f6b9519f097491b.png

图片5 启动Nimbus守护进程


执行命令:storm supervisor启动supervisor守护进程,如图6所示


0d4e8abf41de4f4cbe894af6430c0809.png


图片6 启动supervisor守护进程


执行命令:storm ui启动UI守护进程,如图7所示

d2bc02bdddfd498f864e87c2ccb98f37.png

图片7 启动UI守护进程


执行命令storm list查看任务执行情况,图示表示目前没有拓扑任务在运行(执行该命令前需启动storm的Nimbus和supervisor服务以及执行命令zkServer.sh start启动zookeeper服务),如图8所示

8a5ff9aeada7429c89e64395247fd375.png


图片8 查看任务执行情况


执行命令:storm version打印Storm发布的版本号,如图9所示

acfc6652c6b74d55831667dc752e81b7.png

图片9 查看Storm版本号


♥ 温馨提示

这些命令启动的服务不是后台执行的,如果手动停止,服务将会停止

5b08466ef2394a07a8aed60a79c515f1.png


相关文章
|
存储 SQL 缓存
Hadoop入门(一篇就够了)
Hadoop入门(一篇就够了)
31021 4
Hadoop入门(一篇就够了)
|
存储 Java API
如何在Spring Boot应用程序中使用华为云的OBS云存储来上传和删除图片?
如何在Spring Boot应用程序中使用华为云的OBS云存储来上传和删除图片?
720 1
|
7月前
|
前端开发 Java 测试技术
PHP的现代复兴:从脚本语言到企业级服务端引擎的演进之路-优雅草卓伊凡
PHP的现代复兴:从脚本语言到企业级服务端引擎的演进之路-优雅草卓伊凡
134 6
|
消息中间件 安全 Kafka
Apache Kafka安全加固指南:保护你的消息传递系统
【10月更文挑战第24天】在现代企业环境中,数据的安全性和隐私保护至关重要。Apache Kafka作为一款广泛使用的分布式流处理平台,其安全性直接影响着业务的稳定性和用户数据的安全。作为一名资深的Kafka使用者,我深知加强Kafka安全性的重要性。本文将从个人角度出发,分享我在实践中积累的经验,帮助读者了解如何有效地保护Kafka消息传递系统的安全性。
831 7
|
存储 安全 Java
【Java集合类面试二十五】、有哪些线程安全的List?
线程安全的List包括Vector、Collections.SynchronizedList和CopyOnWriteArrayList,其中CopyOnWriteArrayList通过复制底层数组实现写操作,提供了最优的线程安全性能。
|
前端开发 JavaScript 安全
TypeScript在React Hooks中的应用:提升React开发的类型安全与可维护性
【7月更文挑战第17天】TypeScript在React Hooks中的应用极大地提升了React应用的类型安全性和可维护性。通过为状态、依赖项和自定义Hooks指定明确的类型,开发者可以编写更加健壮、易于理解和维护的代码。随着React和TypeScript的不断发展,结合两者的优势将成为构建现代Web应用的标准做法。
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)
详细讲解了Hadoop YARN资源管理中的容量调度器(Yahoo!的Capacity Scheduler),包括队列和子队列的概念、Apache Hadoop的容量调度器默认队列、队列的命名规则、分层队列、容量保证、队列弹性、容量调度器的元素、集群如何分配资源、限制用户容量、限制应用程序数量、抢占申请、启用容量调度器以及队列状态管理等方面的内容。
448 3
|
消息中间件 XML 开发框架
|
SQL Java 关系型数据库
实时计算 Flink版操作报错合集之全量同步阶段报报错:akka.pattern.AskTimeoutException如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
282 0
|
安全 关系型数据库 Shell
PostgresSQL未授权导致命令执行
PostgresSQL未授权导致命令执行
814 0