storm笔记:storm集群-阿里云开发者社区

开发者社区> 看山灬> 正文

storm笔记:storm集群

简介: Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。
+关注继续查看

storm笔记:storm集群


Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。

nimbus与supervisor都是Storm提供的后台守护进程,之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。如下图所示:


image.png


Storm对Zookeeper的使用相对比较轻量,不会造成很重的资源负担。单节点的Zookeeper集群能够满足大部分的需求,但是如果部署大型Storm集群,为了Storm的稳定性,就需要相对大点的Zookeeper集群。


nimbus

nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、时间处理时重新指派任务等)。


topology的发布,需要将预先打成jar的topology和配置信息提交到nimbus服务器,当nimbus接收到topology压缩包,会将jar包分发到足够数量的supervisor节点上。当supervisor节点接收到topology压缩文件,nimbus就会指派task(bolt、spout实例)到每个supervisor并且发送信号指示supervisor生成足够的worker来执行指定task。


nimbus通过Zookeeper记录所有supervisor节点的状态和分配给它们的task。如果nimbus发现某个supervisor没有上报心跳或已经不可达,它将会把分配给故障supervisor的task重新分配给其他节点。


严格来讲,nimbus不会出现单点故障。这个特性是因为nimbus进程不参与topology(拓扑)的数据处理过程,仅仅是管理topology的初始化、任务分发和进行监控,所以如果nimbus在topology运行时停止,不会影响topology的运行。


supervisor

supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上,如果由supervisor启动的某个worker因为错误异常退出(或被kill掉),supervisor会尝试重新生成新的worker进程。


ui

ui进程是为Stom集群提供一个web的gui监控界面,对正在运行的nimbus、supervisor、topology进行展示,对正在运行的topology有一定管理功能,提供其统计信息,对监控Storm集群的运转和topology的功能有很大的帮助。ui进程属于Storm的可选服务,可以自由选择启动或不启动。


集群部署

Strom的集群部署非常简单,而且nimbus、supervisor、zookeeper可以部署在同一台机器上,实现简单的伪分布式模式,其部署过程分为下面几步:


部署Zookeeper集群

在nimbus、supervisor节点上安装依赖

下载定解压storm的执行包到nimbus、supervisor机器上(使用直接使用tar命令进行解压即可)

在storm.yaml配置必填项

通过storm命令启动进程

Zookeeper集群

关于Zookeeper集群的部署,可以查看ZooKeeper安装部署或A Guide to Deployment and Administration。


安装依赖

在nimbus、supervisor所在的机器上安装依赖,主要包括java和python,当前版本java最低使用jdk6,因为python2和3版本不兼容,官方推荐使用Python2.6.6。


下载解压

wget或culr直接从这里下载压缩包,通过tar命令解压即可。


配置storm.yaml

Storm需要配置的文件是conf/storm.yaml,其默认配置在这里,storm.yaml会覆盖defaults.yaml中的配置。


storm.zookeeper.servers:Zookeeper集群的host列表,如下:

storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"

storm.zookeeper.port:如果Zookeeper集群没有是用默认的端口号2181,使用storm.zookeeper.port修改配置,比如:storm.zookeeper.port: 9999。

storm.local.dir:nimbus与supervisor守护进程需要一个文件夹来存储少量的状态数据(比如jar包、配置等)。该配置决定了nimbus和supervisor将信息存储在哪。该目录必须存在,且对当前用户有适当的操作权限,这个目录的内容必须在集群运行的过程中一直存在,所以避免在/tmp目录下创建。比如:

storm.local.dir: "/mnt/storm"

nimbus.host:集群中的nimubs节点位置,worker需要知道从哪里下载topology的jar包和配置信息,比如:

nimbus.host: "111.222.333.444"

supervisor.slots.ports:配置supervisor节点上每个worker使用的监听端口,每个worker使用单独的监听端口,这样,端口个数就限制了worker数量。默认有4个worker,对应端口是6700\6701\6702\6703,比如:

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

另外,storm集群还有一些可选配置,可以根据需要重新配置。storm的所有配置都可以通过前缀区分作用域,如下表所示:

image.png


启动

最后是启动Storm守护进程,关键是需要在监控(supervison)下启动每个进程。因为Storm是快速失败的模式,也就是说,进程遇到任何意外情况,都会立即停止。Storm被设计成能够安全退成、快速回复的无状态进程。如果nimbus或supervisor重启了,不会对运行中的topology产生任何影响。


可执行程序

Storm提供了多用途的命令行程序,可以用来启动守护进程、执行topology管理等操作,基础命令格式为:storm [command] [arguments]...。


守护进程命令

nimbus:./bin/storm nimbus,启动nimbus守护进程;

supervisor:./bin/storm supervisor,启动supervisor守护进程;

ui:./bin/storm ui,默认端口是8080,可以通过浏览器访问。

管理命令

Storm的管理命令用来发布和管理集群的topology,通常需要在Storm集群外的工作站执行,管理命令从~/.storm/storm.yaml文件中查找nimbus主机名,比如:


nimbus.host: "nimbus"

jar:storm jar topology_jar topology_class [arguments...],用来向Storm提交topology,会上传topology_jar文件到nimbus并分发到整个集群,使用指定topology_class中的main方法。提交完成后,Storm会激活并开始运行topology。main方法中需要有StormSubmitter.submitTopology方法,并需要有一个唯一的topology名,如果集群中有同名的topology,jar命令会执行失败。

kill:storm kill topology_name [-w wait_time],用来关闭已经部署的topology。该命令通过topology_name来关闭topology,Storm会在topology.message.timeout.secs定义的时间或-m参数定义的时间后,是topology的spout取消激活。然后停止worker进程,并尝试清理所有存储的状态信息。也可以在Storm UI上进行操作。

deactivate:storm deactivate topology_name,用来通知Storm停止特定的topology的spout发送tuple,可以在Storm UI上取消激活操作。

active:storm activate topology_name,用来通知Storm重新回复指定的topology的spout发送tuple,可以在Storm UI上重新激活操作。

rebalance:storm rebalance topology_name [-w wait_time] [-n worker_count] [-e component_name=executer_count],只是Storm在集群的worker之间重新平均分派任务,不需要关闭或重新提交现有topology。还可以通过-n或-e参数修改topology分配的worker数及每个task分配的executor数。当执行rebalance命令时,Storm会先取消激活topology,等待配置的时间是剩余的tuple完成处理,然后在supervisor节点中均匀分配worker。重新平衡后,Storm会将topology重新激活。比如:等待15秒,指定5个worker,指定sentece-spout使用4个executor、split-bolt使用8个eexecutor,命令为:storm rebalance wordcount-topology -w 15 -n 5 -e sentence-spout=4 -e split-bolt=8。

remoteconfvalue:storm remoteconfvalue conf-name,用来查看集群中配置参数。可以看到整个集群的公共配置,不能单独查看topology中覆盖的特殊配置。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
storm 介绍|学习笔记
快速学习 storm 介绍
10 0
虚机安装Linux网络配置的一些笔记(真机公网互通,集群节点互通)
一个成熟的人没有任何职责,除了这个:寻找自己,坚定地成为自己,不论走向何方,都往前探索自己的路。——赫尔曼·黑塞《德米安》
108 0
Hadoop学习笔记(二)设置单节点集群
本文描述如何设置一个单一节点的 Hadoop 安装,以便您可以快速执行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。 参考官方文档:Hadoop MapReduce Next Generation - Setting up a Single Node Cluster. Hadoop版本:Apache Hadoop 2.5.1 系统版本:CentOS 6.5,内核(uname -r):2.6.32-431.el6.x86_64 系统必备组件 支持的系统平台 GNU/Linux 作为开发和生产的平台,毫无疑问。
603 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11893 0
J S O N 数据库、J D B C 数据库、Standalone 集群测试 4| 学习笔记
快速学习J S O N数据库、J D B C数据库、Standalone 集群测试4
10 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7365 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
22405 0
+关注
看山灬
专注后端开发、架构相关知识分享,个人网站 https://howardliu.cn/。
136
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载