Storm详细配置

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
简介: Storm详细配置

一、认识Storm


Apache Storm是个实时数据处理的“大能”,它可以实时接收、处理并转发大量数据流,就像一个高速运转的物流中心,确保数据及时、准确地到达目的地。我们要做的,就是把这个物流中心搭建起来,并且根据我们的业务需求进行个性化设置。


二、准备工作


  1. 环境要求


确保你的机器满足以下条件:


• 操作系统:Linux(推荐CentOS或Ubuntu)或macOS

• Java环境:Java 8或以上版本(因为Storm是用Java编写的)

• ZooKeeper:Storm依赖ZooKeeper进行集群协调,所以需要先安装并运行ZooKeeper


  1. 下载Storm


访问Apache Storm的官方网站(https://storm.apache.org/),找到最新稳定版的Storm发行包(通常是apache-storm-*.tar.gz格式),下载到本地。


三、安装与配置


  1. 解压Storm


将下载好的压缩包解压到你喜欢的位置,比如 /usr/local/storm。打开终端,执行类似命令:


  1. 设置环境变量


为了让系统能找到Storm的相关命令,我们需要将Storm的bin目录添加到系统的PATH环境变量中。编辑你的shell配置文件(如.bashrc或.bash_profile),添加以下行:


保存文件后,运行 source ~/.bashrc 或 source ~/.bash_profile 使改动生效。


  1. 配置Storm


Storm的主要配置文件位于 $STORM_HOME/conf/storm.yaml。打开它,根据实际情况修改以下关键配置项:


• nimbus.host: 设置Nimbus节点(相当于主控节点)的IP地址或主机名,如果你只在本地测试,可以保持默认的 localhost。


• storm.zookeeper.servers: 列出ZooKeeper服务器的IP地址和端口,例如:

storm.zookeeper.servers:

  • "zookeeper1.example.com"
  • "zookeeper2.example.com"

• storm.local.dir: 指定Storm在本地存储临时数据的目录,确保该目录存在且有足够权限。

• supervisor.slots.ports: 设置每个Supervisor节点(工作节点)上可用的worker端口列表,例如:

supervisor.slots.ports:

  • 6700
  • 6701
  • 6702
  • 6703

根据你的硬件资源和需求调整其他配置项,但初次接触的话,大部分默认设置已经够用了。


四、启动与验证


  1. 启动ZooKeeper


确保你的ZooKeeper服务已经启动并运行正常。如果没有,可以按照ZooKeeper的官方文档进行安装和启动。


  1. 启动Storm集群

回到终端,依次启动Storm的三个核心服务:


  1. 验证安装

打开浏览器,访问 http://localhost:8080/(如果Storm UI不在本地,替换为相应主机的IP和端口),你应该能看到Storm的管理界面,显示集群状态、拓扑等信息。这就说明你的Storm集群已经成功搭建并运行起来了


目录
相关文章
|
分布式计算 Hadoop 网络安全
Hadoop 集群启动后,从节点的NodeManager没有启动解决
1.slaves节点报错,报的是启动nodemanager 所需内存不足 解决: a: 修改 yarn-site.
5578 0
|
消息中间件 存储 分布式计算
【Flume】Flume配置文件详细分析
【4月更文挑战第4天】【Flume】Flume配置文件详细分析
|
Linux
解决CentOS yum安装Mysql8提示“公钥尚未安装”或“密钥已安装,但是不适用于此软件包”的问题
解决CentOS yum安装Mysql8提示“公钥尚未安装”或“密钥已安装,但是不适用于此软件包”的问题
5590 0
|
分布式计算 监控 Java
Storm详细配置
Storm详细配置
196 1
|
7月前
|
存储 安全 数据挖掘
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB
373 2
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
|
存储 网络协议 Linux
如何安装OpenStack?
【8月更文挑战第21天】
1572 1
|
10月前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
4006 8
|
关系型数据库 MySQL Linux
虚拟机下安装mysql(按相应步骤操作 / 图文)下
虚拟机下安装mysql(按相应步骤操作 / 图文)下
1205 0
|
11月前
|
SQL 分布式计算 Java
【赵渝强老师】Hive的体系架构
Hive是基于Hadoop的数据仓库平台,提供SQL-like的HQL语言进行数据分析,无需编写复杂的Java代码。Hive支持丰富的数据模型,可将SQL语句转换为MapReduce任务在Yarn上运行,底层依赖HDFS存储数据。Hive可通过CLI、JDBC和Web界面执行SQL查询。
429 2
|
XML 移动开发 前端开发
HTML5 SVG和canvas的性能探讨
HTML5 中的 SVG(可缩放矢量图形)和 Canvas(画布)分别用于网页图形绘制。SVG 基于矢量图形,使用 XML 描述,适合静态或少量动态内容(如图标、图表),易于编辑且保持高分辨率;Canvas 则基于位图,通过 JavaScript 绘制,更适合快速更新大量图形的场景(如游戏、动态动画),但在复杂图形计算时可能遇到性能瓶颈。总体而言,SVG 适用于静态和少量动态内容,而 Canvas 更适合高频率更新和性能要求高的场景。