Storm详细配置

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介: Storm详细配置

一、认识Storm


Apache Storm是个实时数据处理的“大能”,它可以实时接收、处理并转发大量数据流,就像一个高速运转的物流中心,确保数据及时、准确地到达目的地。我们要做的,就是把这个物流中心搭建起来,并且根据我们的业务需求进行个性化设置。


二、准备工作


  1. 环境要求


确保你的机器满足以下条件:


• 操作系统:Linux(推荐CentOS或Ubuntu)或macOS

• Java环境:Java 8或以上版本(因为Storm是用Java编写的)

• ZooKeeper:Storm依赖ZooKeeper进行集群协调,所以需要先安装并运行ZooKeeper


  1. 下载Storm


访问Apache Storm的官方网站(https://storm.apache.org/),找到最新稳定版的Storm发行包(通常是apache-storm-*.tar.gz格式),下载到本地。


三、安装与配置


  1. 解压Storm


将下载好的压缩包解压到你喜欢的位置,比如 /usr/local/storm。打开终端,执行类似命令:


  1. 设置环境变量


为了让系统能找到Storm的相关命令,我们需要将Storm的bin目录添加到系统的PATH环境变量中。编辑你的shell配置文件(如.bashrc或.bash_profile),添加以下行:


保存文件后,运行 source ~/.bashrc 或 source ~/.bash_profile 使改动生效。


  1. 配置Storm


Storm的主要配置文件位于 $STORM_HOME/conf/storm.yaml。打开它,根据实际情况修改以下关键配置项:


• nimbus.host: 设置Nimbus节点(相当于主控节点)的IP地址或主机名,如果你只在本地测试,可以保持默认的 localhost。


• storm.zookeeper.servers: 列出ZooKeeper服务器的IP地址和端口,例如:

storm.zookeeper.servers:

  • "zookeeper1.example.com"
  • "zookeeper2.example.com"

• storm.local.dir: 指定Storm在本地存储临时数据的目录,确保该目录存在且有足够权限。

• supervisor.slots.ports: 设置每个Supervisor节点(工作节点)上可用的worker端口列表,例如:

supervisor.slots.ports:

  • 6700
  • 6701
  • 6702
  • 6703

根据你的硬件资源和需求调整其他配置项,但初次接触的话,大部分默认设置已经够用了。


四、启动与验证


  1. 启动ZooKeeper


确保你的ZooKeeper服务已经启动并运行正常。如果没有,可以按照ZooKeeper的官方文档进行安装和启动。


  1. 启动Storm集群

回到终端,依次启动Storm的三个核心服务:


  1. 验证安装

打开浏览器,访问 http://localhost:8080/(如果Storm UI不在本地,替换为相应主机的IP和端口),你应该能看到Storm的管理界面,显示集群状态、拓扑等信息。这就说明你的Storm集群已经成功搭建并运行起来了


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
6月前
|
分布式计算 监控 Java
Storm详细配置
Storm详细配置
58 1
|
存储 消息中间件 分布式计算
104 Storm介绍
104 Storm介绍
36 0
|
消息中间件 Java Kafka
Flume+Kafka+Storm实战:一、Kakfa与Storm整合(上)
Flume+Kafka+Storm实战:一、Kakfa与Storm整合(上)
152 0
Flume+Kafka+Storm实战:一、Kakfa与Storm整合(上)
|
存储 监控 安全
storm笔记:storm集群
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。
419 0
storm笔记:storm集群
|
消息中间件 JSON 自然语言处理
storm笔记:Storm+Kafka简单应用
通过本文记录一下这种情况,后文中根据上述场景提供几个简单的例子。因为是初学storm、kafka,基础理论查看storm笔记:storm基本概念,,或查看Storm 简介。
172 0
|
Java 流计算
Storm BaseBasicBolt和BaseRichBolt
Storm BaseBasicBolt和BaseRichBolt
840 0
|
流计算 jstorm
Jstorm vs Storm
Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。
1292 0
|
分布式计算 Hadoop 流计算
Storm
应用场景 1.信息流处理 Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。即 Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去。
1351 0