Storm集群安装部署步骤

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介:

开始学习Storm,本文主要记录Storm集群安装部署步骤,不包括对Storm的介绍。

安装storm集群,需要依赖以下组件:

  • Zookeeper
  • Python
  • Zeromq
  • Storm
  • JDK
  • JZMQ

故安装过程根据上面的组件分为以下几步:

  • 安装JDK
  • 安装Zookeeper集群
  • 安装Python及依赖
  • 安装Storm

另外,操作系统环境为:Centos6.4,安装用户为:root。

1. 安装JDK

安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文。

不管你用什么方法,最后需要配置JAVA_HOME并检测当前jdk版本:

$ java -version
java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)

2. 安装Zookeeper集群

可以参考文博客使用yum安装CDH Hadoop集群中的Zookeeper集群安装步骤。

3. 安装Python及依赖

一般操作系统上都安装了Python,查看当前Python版本:

$ python -V
Python 2.6.6

3.1 下载Zeromq

$ wget http://download.zeromq.org/zeromq-4.0.4.tar.gz
$ tar zxvf zeromq-4.0.4.tar.gz
$ ./configure
$ make & make install

3.2 安装Jzmq

$ git clone git://github.com/nathanmarz/jzmq.git
$ cd jzmq
$ ./autogen.sh
$ ./configure
$ make & make install

4. 安装Storm

下载稳定版本的storm,然后解压将其拷贝到/usr/lib/storm目录:

$ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
$ unzip storm-0.8.1.zip 
$ mv storm-0.8.1 /usr/lib/storm

接下来,配置环境变量:

export STORM_HOME=/usr/lib/storm
export PATH=$PATH:$STORM_HOME/bin

建立storm存储目录:

$ mkdir /tmp/storm

修改配置文件/usr/lib/storm/conf/storm.yaml,修改为如下:

 storm.zookeeper.servers:
     - "cdh1"
     - "cdh2"
     - "cdh3"
 ui.port: 8081
 nimbus.host: "cdh2"
 storm.local.dir: "/tmp/storm"
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

其中,配置参数说明:

  • storm.zookeeper.servers:Storm集群使用的Zookeeper集群地址,如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项
  • ui.port:Storm UI的服务端口
  • storm.local.dir:Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录
  • java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为”/usr/local/lib:/opt/local/lib:/usr/lib”,一般来说ZMQ和JZMQ默认安装在/usr/local/lib下,因此不需要配置即可。
  • nimbus.host: Storm集群Nimbus机器地址
  • supervisor.slots.ports: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口

更多配置参数,请参考Storm配置项详解

最后,启动Storm各个后台进程:

主控节点上启动nimbus:

$ storm nimbus >/dev/null 2>&1 &

在Storm各个工作节点上运行:

$ storm supervisor >/dev/null 2>&1 &

在Storm主控节点上启动ui:

$ storm ui >/dev/null 2>&1 &

然后,你可以访问http://cdh2:8081/查看集群的worker资源使用情况、Topologies的运行状态等信息。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
存储 Oracle 关系型数据库
HBase集群环境搭建与测试(上)
HBase集群环境搭建与测试
323 0
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
593 0
|
4月前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
资源调度 分布式计算 Hadoop
Flink 集群安装部署和 HA 配置
我们在这一课时将讲解 Flink 常见的部署模式:本地模式、Standalone 模式和 Flink On Yarn 模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中 Flink 集群的高可用配置。
4209 0
Flink 集群安装部署和 HA 配置
|
分布式计算 Hadoop Linux
HBase集群环境搭建与测试(下)
HBase集群环境搭建与测试
157 0
|
存储 Java 大数据
分布式数据库HBase的安装部署和环境搭建的集群模式
HBase是一个分布式数据库系统,能够支持高性能、高可靠性、高伸缩性的数据存储和读写操作。在大数据时代,HBase成为了一个越来越受欢迎的数据库选择。本文将介绍HBase的集群模式的安装部署和环境搭建,帮助开发者快速上手。
1020 2
|
存储 Java 大数据
分布式数据库HBase的安装部署和环境搭建的Standalone/伪集群模式
HBase是一个分布式数据库系统,能够支持高性能、高可靠性、高伸缩性的数据存储和读写操作。在大数据时代,HBase成为了一个越来越受欢迎的数据库选择。本文将介绍HBase的Standalone/伪集群模式的安装部署和环境搭建,帮助开发者快速上手。
928 1
|
存储 分布式计算 Hadoop
伪分布式安装部署(运行MapReduce程序)
伪分布式安装部署(运行MapReduce程序)
241 0
|
分布式计算 Kubernetes Hadoop
迁移传统应用到Kubernetes步骤详解 – 以Hadoop YARN为例
前言 本文已归档到 kubernetes-handbook 【第三章用户指南】的【在Kubernetes中开发部署应用】小节中,一切更新以 GitHub 为准。 本文档不是说明如何在 kubernetes 中开发和部署应用程序,如果您想要直接开发应用程序在 kubernetes 中运行可以参考 适用于kubernetes的应用开发部署流程。
1572 0
|
监控 大数据 流计算
环境篇之 flink 的集群测试|学习笔记
快速学习环境篇之 flink 的集群测试
311 0
环境篇之 flink 的集群测试|学习笔记
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等