108 Storm集群部署

简介: 108 Storm集群部署
基础流程

集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

注意: 所有的集群上都需要配置hosts

vi  /etc/hosts
192.168.239.128 storm01 zk01 hadoop01
192.168.239.129 storm02 zk02 hadoop02
192.168.239.130 storm03 zk03 hadoop03
环境准备

安装前的准备工作(zk集群已经部署完毕)

  • 关闭防火墙
chkconfig iptables off  && setenforce 0
  • 创建用户
groupadd realtime && useradd realtime && usermod -a -G realtime realtime
  • 创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export
  • 切换到realtime用户下
su realtime
集群部署

1.下载安装包

wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

2.解压安装包

tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.5 storm

3.修改配置文件

mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
vi /export/servers/storm/conf/storm.yaml

输入以下内容:

4.分发安装包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

然后分别在各机器上创建软连接

cd /export/servers/
ln -s apache-storm-0.9.5 storm

5.启动集群

  • 在nimbus.host所属的机器上启动 nimbus服务
cd /export/servers/storm/bin/
nohup ./storm nimbus &
  • 在nimbus.host所属的机器上启动ui服务
cd /export/servers/storm/bin/
nohup ./storm ui &
  • 在其它个点击上启动supervisor服务
cd /export/servers/storm/bin/
nohup ./storm supervisor &

6.查看集群

访问nimbus.host:/8080,即可看到storm的ui界面。

目录
相关文章
|
11月前
|
消息中间件 Kafka Linux
115 Kafka集群部署
115 Kafka集群部署
71 0
|
11月前
|
分布式计算 Hadoop Java
Hadoop分布式集群部署
Hadoop分布式集群部署
86 0
|
消息中间件 存储 分布式计算
Kafka集群部署
Kafka集群部署
Kafka集群部署
|
消息中间件 Kafka Apache
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
185 0
|
运维 监控 Ubuntu
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
分布式计算 Hadoop 流计算
如何搭建Storm集群?
如何搭建Storm集群?
102 0
|
流计算
storm集群的搭建
最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.
|
存储 监控 安全
storm笔记:storm集群
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。
395 0
storm笔记:storm集群
|
分布式计算 Hadoop 数据安全/隐私保护
Flink 集群搭建,Standalone,集群部署,HA高可用部署
Flink 集群搭建,Standalone,集群部署,HA高可用三种模式部署方式
5224 0
Flink 集群搭建,Standalone,集群部署,HA高可用部署