大数据组件-实时大数据处理框架Storm安装部署

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 大数据组件-实时大数据处理框架Storm安装部署

在这里插入图片描述

👨🏻‍🎓博主介绍:大家好,我是芝士味的椒盐,一名在校大学生,热爱分享知识,很高兴在这里认识大家🌟
🌈擅长领域:Java、大数据、运维、电子
🙏🏻如果本文章各位小伙伴们有帮助的话,🍭关注+👍🏻点赞+🗣评论+📦收藏,相应的有空了我也会回访,互助!!!
🤝另本人水平有限,旨在创作简单易懂的文章,在文章描述时如有错,恳请各位大佬指正,在此感谢!!!

@[TOC]

Storm简介

1.官网

http://storm.apache.org/

2.strom的两种形式

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150233214-1660343507.png

2.strom的特性

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150432933-852484150.png

3.使用场景

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150502917-768778.png

4.集群架构

各个节点快速失败,无状态。

快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。

无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、

可以实现高可靠性。

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150608198-2014603231.png

5.集群架构进程

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150706308-1395210200.png

6.组件 Nimbus

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151116183-934096483.png

7.从节点Supervisor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151225683-536020167.png

8.组件worker

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151344354-1508431864.png

9.组件Executor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151421151-793170831.png

10.组件zookeeper

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151529464-1358939842.png

11.组件UI

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151622495-1722274787.png

12.组件Logviewer

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151651776-778865111.png

13.组件Netty

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151727870-121197440.png

Storm集群部署

集群规划

一、storm集群整体部署

集群总共使用了6台机器:

storm使用3个节点(nimbus在node01, supervisor在node02、node03)

zookeeper使用3个节点(node04、node05、node06)
在这里插入图片描述

Zookeeper高可用安装

二、zookeeper安装

1、使用最新的稳定版本3.4.6,下载地址http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz

tar zxvf zookeeper-3.4.6.tar.gz 
ln -s zookeeper-3.4.6 zookeeper
rm  zookeeper-3.4.6.tar.gzcp zookeeper/conf/zoo_sample.cfg zookeeper/conf/zoo.cf`

2、修改配置文件zoo.cfg , 根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.1=node06:2888:3888
server.2=node05:2888:3888
server.3=node04:2888:3888

3、zookeeper的所有节点上执行1、2步骤后,在zoo.cfg中配置的dataDir目录下添加myid文件,内容为server.1=node06:2888:3888配置中server后面的id(node06的myid文件内容为1)

`echo "1" > zookeeper/data/myid    (node06)
echo "2" > zookeeper/data/myid    (node05)
echo "3" > zookeeper/data/myid    (node04)`

4、在所有节点上启动zookeeper

bin/zkServer.sh start

jps命令验证QuorumPeerMain进程是否启动成功
在这里插入图片描述

启动客户端连接测试: bin/zkCli.sh -server node06:2181

至此,Zookerper安装成功

Storm安装

三、storm安装

选用最新的0.9.2版本进行安装部署,下载地址http://mirror.bit.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

1、安装前提(自行先安装java、python)

Java 6及以上     Python 2.6.6及以上

2、安装storm包

 tar zxvf apache-storm-0.9.2-incubating.tar.gz 
 ln -s apache-storm-0.9.2-incubating storm
 rm apache-storm-0.9.2-incubating.tar.gz`

3、修改conf/storm.yaml配置文件,根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。(配置文件采用yaml格式,可以百度下它的具体语法,

以免格式使用错误,造成启动失败)


 storm.zookeeper.servers:
     - "node06"
     - "node05"
     - "node04"
 #nimbus.host: "node01"
#1.2版本之后使用nimbus.seeds,代替了nimbus.host
 storm.local.dir: "/usr/local/storm/data"
 supervisor.slots.ports:
   - 6700
   - 6701

 ui.port: 6066

4、修改storm_env.sh,配置JDK的home

启动并测试Storm

1、在storm的所有节点上执行1、2、3步骤后

node01启动nimbus:bin/storm nimbus >/dev/null 2>&1 &

node02、node03启动supervisor:bin/storm supervisor >/dev/null 2>&1 & ,bin/storm logviewer > /dev/null 2>&1 &

node01启动ui: bin/storm ui >/dev/null 2>&1 &
在这里插入图片描述
在这里插入图片描述
2、访问node01:6066查看storm ui页面
在这里插入图片描述
3、测试Storm的实时分布式计算框架的搭建的成功与否

storm jar examples/storm-starter/storm-starter-topologies-0.9.2-incubating.jar storm.starter.WordCountTopology wordcount

在这里插入图片描述
注意:storm停止需要kill掉,没有专属的stop命令

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
65 2
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
53 0
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
69 0
|
1月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
83 0
|
11天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
【赵渝强老师】基于大数据组件的平台架构
|
10天前
|
SQL 分布式计算 大数据
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
|
1月前
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
26 9
|
1月前
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
54 2
|
1月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
38 1
|
1月前
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
65 1