如何搭建Storm集群?

简介: 如何搭建Storm集群?

首先准备好三台机器,准备分配以下角色:

hadoop1 hadoop2 hadoop3
zk zk zk
hadoop hadoop hadoop
storm storm storm
kafka kafka kafka
flume flume flume

1.解压软件


tar -zxvf apache-storm-1.2.3.tar.gz -C apps/


2.创建数据目录


mkdir apps/data


3.进入conf目录

vi storm.yaml
storm.zookeeper.servers:
 -"hadoop1"
 -"hadoop2"
 -"hadoop3"
nimbus.seeds: ["hadoop1"] storm.local.dir: "/root/apps/storm/data"
supervisor.slots.ports:
 -6700
 -6701
 -6702
 -6703

4.添加环境变量

vi /etc/profile
export STORM_HOME=/root/apps/storm-1.2.3
export PATH=$PATH:$STORM_HOME/bin
source /etc/profile


5.同步与其他节点将这些,还有环境变量,记得source一下


scp ....hadoop2,hadoop3


6.启动测试


bin/storm nimbus [三台群全部启动]

bin/storm supervisor [三台群全部启动]

bin/storm ui [启动一台web页面]

可以访问页面:hadoop:8080

目录
相关文章
|
网络安全 流计算
108 Storm集群部署
108 Storm集群部署
35 0
|
资源调度 分布式计算 Kubernetes
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕
7597 1
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
流计算
storm集群的搭建
最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.
|
流计算 Docker 容器
搭建Flink集群环境
搭建Flink集群环境
558 0
搭建Flink集群环境
|
存储 SQL 分布式计算
zeppelin高可用部署
这边所说的zeppelin高可用不是传统意义上的HA模式,而是利用统一的配置文件,在一个zeppelin server挂掉之后,在另一个zeppelin server从统一配置文件再恢复到原有作业模式。在集群中,同时仅存在一个zeppelin server服务。
zeppelin高可用部署
|
存储 监控 安全
storm笔记:storm集群
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。
430 0
storm笔记:storm集群
|
Java Linux Apache
storm集群部署
软硬件基础信息 机子配置信息 操作系统:CentOS release 6.5 (Final) cpu:Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz 内存:32G 磁盘大小:1.
1314 0