Apache Storm 官方文档 —— 命令行操作

简介:

本文介绍了 Storm 命令行客户端中的所有命令操作。如果想要了解怎样设置你的 Strom 客户端和远程集群的交互,请按照配置开发环境一文中的步骤操作。

Storm 中支持的命令包括:

  1. jar
  2. kill
  3. activate
  4. deactivate
  5. rebalance
  6. repl
  7. classpath
  8. localconfvalue
  9. remoteconfvalue
  10. nimbus
  11. supervisor
  12. ui
  13. drpc

jar

语法:storm jar topology-jar-path class ...

使用指定的参数运行 main 方法(也就是打包好的拓扑 jar 包中的 main 方法)。Storm 所需要的 jar 包和配置信息都在类路径(classpath)中。这个运行过程已经配置好了,这样 StormSubmitter 就可以在提交拓扑的时候将 topology-jar-path中的 jar 包上传到集群中。

kill

语法:storm kill topology-name [-w wait-time-secs]

杀死集群中正在运行的名为 topology-name 的拓扑。执行该操作后,Storm 首先会注销拓扑中的 spout,使得拓扑中的消息超时,这样当前的所有消息就会结束执行。随后,Storm 会将所有的 worker 关闭,并清除他们的状态。你可以使用 -w参数来调整 Storm 在注销与关闭拓扑之间的间隔时间。

activate

语法:storm activate topology-name

激活运行指定拓扑的所有 spout。

deactivate

语法:storm deactivate topology-name

停止指定拓扑的所有 spout 的运行。

rebalance

语法:storm rebalance topology-name [-w wait-time-secs]

有些场景下需要对正在运行的拓扑的工作进程(worker)进行弹性扩展。例如,加入你有 10 个节点,每个节点上运行有 4 个 worker,现在由于各种原因你需要为集群添加 10 个新节点。这时你就会希望通过扩展正在运行的拓扑的 worker 来使得每个节点只运行两个 worker,降低集群的负载。实现这个目的的一种直接的办法是 kill 掉正在运行的拓扑,然后重新向集群提交。不过 Storm 提供了再平衡命令可以以一种更简单的方法实现目的。

再平衡首先会在一个超时时间内(这个时间是可以通过 -w 参数配置的)注销掉拓扑,然后在整个集群中重新分配 worker。接着拓扑就会自动回到之前的状态(也就是说之前处于注销状态的拓扑仍然会保持注销状态,而处于激活状态的拓扑则会返回激活状态)。

repl

语法:storm repl

打开一个带有类路径上的 jar 包和配置信息的 Clojure 的交互式解释器(REPL)。该命令主要用于调试。

classpath

语法:storm classpath

打印客户端执行命令时使用的类路径环境变量。

localconfvalue

语法:storm localconfvalue conf-name

打印出本地 Storm 配置中 conf-name 属性的值。这里的本地配置指的是 ~/.storm/storm.yaml 和 defaults.yaml 两个配置文件综合后的配置信息。

remoteconfvalue

语法:storm remoteconfvalue conf-name

打印出集群配置中 conf-name 属性的值。这里的集群配置指的是 $STORM-PATH/conf/storm.yaml 和 defaults.yaml 两个配置文件综合后的配置信息。该命令必须在一个集群机器上执行。

nimbus

语法:storm nimbus

启动 nimbus 后台进程。该命令应该在 daemontools 或者 monit 这样的工具监控下执行。详细信息请参考配置 Storm 集群一文。

supervisor

语法:storm supervisor

启动 supervisor 后台进程。该命令应该在 daemontools 或者 monit 这样的工具监控下执行。详细信息请参考配置 Storm 集群一文。

ui

语法:storm ui

启动 UI 后台进程。UI 提供了一个访问 Storm 集群的 Web 接口,其中包含有运行中的拓扑的详细信息。该命令应该在daemontools 或者 monit 这样的工具监控下执行。详细信息请参考配置 Storm 集群一文。

drpc

语法:storm drpc

启动 DRPC 后台进程。该命令应该在 daemontools 或者 monit 这样的工具监控下执行。详细信息请参考分布式 RPC一文。

相关文章
|
5月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
678 3
|
存储 Java BI
探索Apache POI库:强大的Excel和Word文档处理工具
在企业应用和数据处理中,Excel和Word文档是常见的数据交换和存储格式。然而,处理和操作这些文档可能是一项繁琐的任务。Apache POI库作为一款强大的文档处理工具,可以帮助我们更轻松地进行Excel和Word文档的读写、编辑和生成。本文将深入探讨Apache POI库的基本概念、特点,以及如何在实际应用中使用它进行文档处理。
742 0
|
XML Java API
Apache POI详解及Word文档读取示例
apache poi资料详解,包括内部jar包依赖关系,及与使用文档的对应关系
1357 0
|
消息中间件 存储 分布式计算
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
|
消息中间件 大数据 Kafka
数据流处理:Apache Samza和Apache Storm的比较
数据流处理是现代大数据应用程序中至关重要的组成部分。为了有效地处理大规模的实时数据流,开发人员需要选择适合其需求的数据流处理框架。在本文中,我们将比较两个受欢迎的数据流处理框架 Apache Samza 和 Apache Storm,并探讨它们的特点、优势和适用场景。
251 0
|
机器学习/深度学习 分布式计算 Kubernetes
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
119 0
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
|
消息中间件 机器学习/深度学习 分布式计算
安装Apache Storm
安装Apache Storm
126 0
|
SQL 分布式计算 Java
Apache Hive--命令行&参数配置方式| 学习笔记
快速学习 Apache Hive--命令行&参数配置方式
125 0
|
分布式计算 资源调度 Java
Apache Storm与Apache Spark对比
随着实时数据的增加,对实时数据流的需求也在增长。更不用说,流技术正在引领大数据世界。使用更新的实时流媒体平台,用户选择一个平台变得很复杂。Apache Storm和Spark是该列表中最流行的两种实时技术。 让我们根据它们的功能比较Apache Storm和Spark,并帮助用户做出选择。本文的目的是Apache Storm Vs与Apache Spark无关,不是要对两者进行判断,而是要研究两者之间的异同。 什么是Apache Storm与Apache Spark? 要了解Spark Vs Storm,让我们首先了解两者的基础! Apache Storm Apache Storm是一个
338 0
|
4天前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
239 4
Apache Flink 2.0-preview released

推荐镜像

更多