《Storm企业级应用:实战、运维和调优》——2.3 安装部署Storm集群-阿里云开发者社区

开发者社区> 华章出版社> 正文

《Storm企业级应用:实战、运维和调优》——2.3 安装部署Storm集群

简介:

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第2章,第2.3节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3 安装部署Storm集群

Storm的安装、部署过程分为安装依赖、安装Storm、启动和查看安装等几个部分。其中,前两部分内容在三个节点上都是一样的,只要在启动时区分开角色即可。接下来将讲解Storm集群的安装过程。
2.3.1 安装Storm依赖库
在Nimbus和Supervisor的节点上安装Storm时,都需要安装相关的依赖库,具体如下:
ZeroMQ 2.1.7。
JZMQ。
其中,ZeroMQ推荐使用2.1.7版本,请勿使用2.1.10版本。官方解释是因为该版本的一些严重Bug会导致Storm集群运行时出现奇怪的问题。另外,以上依赖库的版本经过Storm官方测试,但不能保证在其他版本的Java或Python库下可运行。
1.?安装ZeroMQ
Storm底层队列的实现使用ZeroMQ,为了实现低耦合,Storm并没有将ZeroMQ放置到其工程中,所以需要预先安装。先下载源码,然后编译安装ZeroMQ,命令如下:

wget http:// download.zeromq.org/zeromq-2.1.7.tar.gz
tar -vxzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./conf?igure
make
make install

1)其中./conf?igure时会检查JAVA_HOME是否正确,不正确会报错,并提示。
2)如果安装过程报错uuid找不到,则通过如下的命令安装uuid库:

yum install gcc gcc-c++
yum install uuidd

如遇到报错“Error:cannot link with -luuid, install uuid-dev”,则安装部分依赖包:

yum install e2fsprogs e2fsprogs-devel

当然,以上的依赖工具安装命令使用的是yum,不同的Linux分支使用不同的安装命令,例如Ubuntu使用apt-get。用户根据自己选用的操作系统来选用不用的命令,可能有些依赖工具在不同的Linux系统上对应的名称不太一致,但是总能找到对应的依赖包。
2.?安装JZMQ
JZMQ是ZeroMQ的Java语言的绑定实现,因为安装过程中使用unzip命令,首先要使用yum等的安装工具安装unzip工具。然后根据下面的代码一步一步下载、配置、编译和安装JZMQ。

#安装依赖工具包
yum install pkgconf?ig libtool

#下载、配置、编译和安装
wget https:// github.com/nathanmarz/jzmq/archive/master.zip -O jzmq.zip
unzip jzmq.zip
cd jzmq-master
./autogen.sh
./conf?igure
make
make install

2.3.2 安装Storm集群
下面介绍Storm 0.8.2的详细安装过程。
1.?下载并解压Storm 0.8.2
在Nimbus和Supervisor节点上安装Storm发行版本。Nimbus安装在test1节点上,Supervisor安装在test2和test3节点上。这些节点的配置文件完全相同。直接在http://storm-project.net/downloads.html页面下载0.8.2版本,如图2-1所示。

image

也可以在客户端节点下载后复制到集群节点,或在客户端复制链接地址后在集群节点使用wget命令下载。在完成下载或复制后,将压缩包解压,命令如下:

mv storm-0.8.2.zip /opt/modules/
unzip storm-0.8.2.zip

2.?修改storm.yaml配置文件
Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm。可以在这里查看默认配置。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。以下最基本的配置选项必须在conf/storm.yaml中配置。
1)storm.zookeeper.servers: Storm集群使用的ZooKeeper集群地址,格式如下:

storm.zookeeper.servers:
    - "test1"  
    - "test2"
    - "test3"

如果ZooKeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2)storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如JAR、配置文件等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限,然后在storm.yaml中配置该目录,代码如下:

storm.local.dir: "/var/storm"

3)nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个节点是Nimbus,以便下载Topology的JAR、配置等文件,代码如下:

nimbus.host: "test1"

当然这几项配置都是最基本的配置选项,其他的配置选项都在defaults.yaml文件中,该文件的详细内容如下,供读者参考使用。

########### These all have default values as shown
########### Additional conf?iguration goes into Storm.yaml
java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib"
### storm.* conf?igs are general conf?igurations
# the local dir is where jars are kept
storm.local.dir: "storm-local"
storm.zookeeper.servers:
   - "localhost"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/storm"
storm.zookeeper.session.timeout: 20000
storm.zookeeper.connection.timeout: 15000
storm.zookeeper.retry.times: 5
storm.zookeeper.retry.interval: 1000
storm.cluster.mode: "distributed" # can be distributed or local
storm.local.mode.zmq: false
### nimbus.* conf?igs are for the master
nimbus.host: "localhost"
nimbus.thrift.port: 6627
nimbus.childopts: "-Xmx1024m"
nimbus.task.timeout.secs: 30
nimbus.supervisor.timeout.secs: 60
nimbus.monitor.freq.secs: 10
nimbus.cleanup.inbox.freq.secs: 600
nimbus.inbox.jar.expiration.secs: 3600
nimbus.task.launch.secs: 120
nimbus.reassign: true
nimbus.f?ile.copy.expiration.secs: 600
### ui.* conf?igs are for the master
ui.port: 8080
ui.childopts: "-Xmx768m"
drpc.port: 3772
drpc.invocations.port: 3773
drpc.request.timeout.secs: 600
transactional.zookeeper.root: "/transactional"
transactional.zookeeper.servers: null
transactional.zookeeper.port: null
### supervisor.* conf?igs are for node supervisors
# Def?ine the amount of workers that can be run on this machine. Each worker is assigned 
    a port to use for communication
supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703
supervisor.childopts: "-Xmx1024m"
#how long supervisor will wait to ensure that a worker process is started
supervisor.worker.start.timeout.secs: 120
#how long between heartbeats until supervisor considers that worker dead and tries 
    to restart it
supervisor.worker.timeout.secs: 30
#how frequently the supervisor checks on the status of the processes it's monitoring 
    and restarts if necessary
supervisor.monitor.frequency.secs: 3
#how frequently the supervisor heartbeats to the cluster state (for nimbus)
supervisor.heartbeat.frequency.secs: 5
supervisor.enable: true

### worker.* conf?igs are for task workers
worker.childopts: "-Xmx768m"
worker.heartbeat.frequency.secs: 1
task.heartbeat.frequency.secs: 3
task.refresh.poll.secs: 10
zmq.threads: 1
zmq.linger.millis: 5000
### topology.* conf?igs are for specif?ic executing storms
topology.enable.message.timeouts: true
topology.debug: false
topology.optimize: true
topology.workers: 1
topology.acker.executors: 1
topology.acker.tasks: null
topology.tasks: null
# maximum amount of time a message has to complete before it's considered failed
topology.message.timeout.secs: 30
topology.skip.missing.kryo.registrations: false
topology.max.task.parallelism: null
topology.max.spout.pending: null
topology.state.synchronization.timeout.secs: 60
topology.stats.sample.rate: 0.05
topology.fall.back.on.java.serialization: true
topology.worker.childopts: null
topology.executor.receive.buffer.size: 1024 #batched
topology.executor.send.buffer.size: 1024 #individual messages
topology.receiver.buffer.size: 8 # setting it too high causes a lot of problems 
    (heartbeat thread gets starved, throughput plummets)
topology.transfer.buffer.size: 1024 # batched
topology.tick.tuple.freq.secs: null
topology.worker.shared.thread.pool.size: 4
topology.disruptor.wait.strategy: "com.lmax.disruptor.BlockingWaitStrategy"
topology.spout.wait.strategy: "backtype.storm.spout.SleepSpoutWaitStrategy"
topology.sleep.spout.wait.strategy.time.ms: 1

dev.zookeeper.path: "/tmp/dev-storm-zookeeper"

2.3.3 启动Storm集群
最后一步,启动Storm的所有后台进程。和ZooKeeper一样,Storm也是快速失败(fail-fast)的系统,能在任意时刻被停止,并且当进程重启后能够正确恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使重启Nimbus或Supervisor进程,运行中的Topology不会受到影响。
首先,还是因为需要使用hadoop用户启动进程,需要更改文件权限,命令如下:

mkdir /var/storm
chown -R hadoop:hadoop /var/storm
chown -R hadoop:hadoop /opt/modules/*storm*

下面介绍启动Storm各个后台进程的方式。
Nimbus:在Storm主控节点上运行(即test1节点),启动Nimbus后台程序,并放到后台执行。

su hadoop
bin/storm nimbus </dev/null 2<&1 &

Supervisor:在Storm各个工作节点上运行(即test2、test3节点),启动Supervisor后台程序,并放到后台执行。

su hadoop
bin/storm supervisor </dev/null 2<&1 &

UI:在Storm主控节点上运行,启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的Worker资源使用情况、Topology的运行状态等信息,启动命令如下。启动后通过浏览器可以查看当前Storm集群的当前状态,成功启动后的Storm UI界面如图2-2所示。

image

su hadoop
bin/storm ui </dev/null 2<&1 &

经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimus连接。
下面简单介绍Storm UI页面上的各项属性。
1.?Cluster Summary集群统计信息
Version:Storm集群的版本。
Nimbus uptime:Nimbus的启动时间。
Supervisors:Storm集群中Supervisor的数量。
Used slots:使用的Slot数。
Free slots:剩余的Slot数。
Total slots:总的Slot数。
Executors:执行者数量。
Tasks: 运行的任务数。
2.?Topology summary拓扑统计信息
Name:拓扑的名称。
Id:由Storm生成的拓扑ID。
Status:拓扑的状态,包括ACTIVE、INACTIVE、KILLED、REBALANCING等。
Uptime:拓扑运行的时间。
Num workers:运行的Worker数。
Num executors:运行的执行者数。
Num tasks:运行的Task数。
3.?Supervisor summary工作节点统计信息
Host:Supervisor主机名。
Id:由Storm生成的工作节点ID。
Uptime:Supervisor启动的时间。
Slots:Supervisor的Slot数。
Used slots:使用的Slot数。
经测试,Storm UI必须和Nimbus服务部署在同一节点上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus连接。至此,Storm集群部署、配置完成,可以向集群提交拓扑。
2.3.4 停止Storm集群
在本地模式下停止集群的方式比较简单,就是调用shutdown方法,代码如下:

import backtype.storm.LocalCluster;
LocalCluster cluster = new LocalCluster(); 
cluster.shutdown();

分布式模式停止集群的方式比较麻烦,因为角色进程分布在不同的节点上。停止的方法是,直接杀掉每个节点运行的Nimbus或者Supervisor进程。目前Storm官网上提供了一个项目可以快速关闭Storm集群。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

华章出版社

官方博客
官网链接