实时流处理框架之Storm的安装与部署

简介: 实时流处理框架之Storm的安装与部署

0x00 教程内容


  1. 下载Storm
  2. 安装与配置Storm
  3. 启动并校验Storm

前提:

先安装好Zookeeper,请查看教程:

D003 复制粘贴玩大数据之安装与配置Zookeeper集群


0x01 下载Storm


1. 下载Storm

a. 为了统一,此处下载apache-storm-1.2.2.tar.gz版本:

http://storm.apache.org/downloads.html


2. 上传安装包到节点

a. 上传到master的/home/hadoop-sny/software上,没有目录则创建:

mkdir ~/software


0x02 安装与配置Storm


1. 解压Storm

a. 解压Storm

tar -zxvf apache-storm-1.2.2.tar.gz -C ~/bigdata/


2. 配置Storm

a. 新建Storm数据文件夹,在每台机器上创建文件目录:

mkdir /home/hadoop-sny/bigdata/storm-data

b. 修改Storm配置

cd ~/bigdata/apache-storm-1.2.2/conf

vi storm.yaml

配置一:配置ZK存储Storm的状态信息(协调Storm的每一个组件)


storm.zookeeper.servers:
    - "master"
    - "slave1"
    - "slave2"


配置二:配置Nimbus和Supervisor在本地磁盘上存储小量的数据(如jars,配置等)

storm.local.dir: "/home/hadoop-sny/bigdata/storm-data"


配置三:配置Nimbus所在的机器名

nimbus.seeds: ["master"]


配置四:配置每个Supervisor节点最多可以启动多少个workers,(一个worker对应一个端口用于接收数据)默认是4个


supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703


如图所示:


image.png


c. 同步到安装包到slave1和slave2

scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave1:~/bigdata/

scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave2:~/bigdata/


0x03 启动并校验Storm


1. 启动Storm

前提:

先启动Zookeeper(三个节点都要启动):

zkServer.sh start


image.png


a. 在master上启动Nimbus和Web UI

cd ~/bigdata/apache-storm-1.2.2

nohup bin/storm nimbus 2>&1 &

然后回车,切换终端2,执行:

nohup bin/storm ui 2>&1 &

然后回车

b. 在slave1和slave2上启动Supervisor

cd ~/bigdata/apache-storm-1.2.2

nohup bin/storm supervisor 2>&1 &


2. 校验Storm

a. 查看各节点进程


image.png


b. Web UI端口查看

打开端口:http://master:8080,看到下面的界面表示成功:

微信图片_20220618191246.png


0xFF 总结


  1. Flume、Kafka、Storm的综合小案例,请留意后期教程
  2. 后期教程还会加上Kafka、Storm、Kafka的piplines的实现教程
相关文章
|
Python
使用 Pandas 库时,如何处理数据的重复值?
在使用Pandas处理数据重复值时,需要根据具体的数据特点和分析需求,选择合适的方法来确保数据的准确性和唯一性。
1308 64
|
1月前
|
存储 人工智能 自然语言处理
Skills实战:从0到1封装一个“登录鉴权”Skill,拿来即用
本文直击AI Agent落地痛点——登录鉴权失效、状态丢失、提示词不可靠。提出以“Skill”替代传统提示词工程:将动态认证逻辑(如Token获取/刷新/存储)封装为可复用、带状态管理的代码模块,实现跨会话稳定调用。实战拆解Skill四要素,揭示其如何让AI“一次登录,全程无忧”。
|
UED 开发者 容器
【专栏】Flexbox是CSS3的全新布局模式,提供灵活响应式的页面设计
【4月更文挑战第27天】Flexbox是CSS3的全新布局模式,提供灵活响应式的页面设计。其特点包括灵活性、响应式和易理解,通过主轴和交叉轴控制元素排列对齐。核心概念有容器和项目,常用于导航栏、卡片布局、响应式设计、表格和表单布局。关键属性如flex-direction定义主轴方向,justify-content和align-items控制对齐,flex属性调整项目伸缩,order改变排序。在实践中,要关注响应式、代码维护和浏览器兼容性,以优化布局和用户体验。
536 4
|
存储 缓存 自然语言处理
SCOPE:面向大语言模型长序列生成的双阶段KV缓存优化框架
KV缓存是大语言模型(LLM)处理长文本的关键性能瓶颈,现有研究多聚焦于预填充阶段优化,忽视了解码阶段的重要性。本文提出SCOPE框架,通过分离预填充与解码阶段的KV缓存策略,实现高效管理。SCOPE保留预填充阶段的关键信息,并在解码阶段引入滑动窗口等策略,确保重要特征的有效选取。实验表明,SCOPE仅用35%原始内存即可达到接近完整缓存的性能水平,显著提升了长文本生成任务的效率和准确性。
938 3
SCOPE:面向大语言模型长序列生成的双阶段KV缓存优化框架
|
移动开发 前端开发 JavaScript
开源即时通讯IM框架MobileIMSDK的H5端技术概览
开源即时通讯IM框架MobileIMSDK的H5端技术概览
697 2
开源即时通讯IM框架MobileIMSDK的H5端技术概览
|
机器学习/深度学习 人工智能 自然语言处理
Agent AI智能体的未来角色、发展路径及其面临的挑战
Agent AI智能体的未来角色、发展路径及其面临的挑战
869 0
|
Web App开发 监控 中间件
【开源视频联动物联网平台】视频接入网关的用法
【开源视频联动物联网平台】视频接入网关的用法
1333 1
|
应用服务中间件 nginx Python
nginx-upload-module模块实现文件断点续传_nginx upload module 断点续传 进度(1)
nginx-upload-module模块实现文件断点续传_nginx upload module 断点续传 进度(1)
|
人工智能 搜索推荐 算法
爱思唯尔的KBS——模板、投稿、返修、接收的总结
爱思唯尔的KBS——模板、投稿、返修、接收的总结
|
移动开发 前端开发 JavaScript
原生求生记:揭秘UniApp的原生能力限制
原生求生记:揭秘UniApp的原生能力限制