大数据组件-实时大数据处理框架Storm安装部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 大数据组件-实时大数据处理框架Storm安装部署

在这里插入图片描述

👨🏻‍🎓博主介绍:大家好,我是芝士味的椒盐,一名在校大学生,热爱分享知识,很高兴在这里认识大家🌟
🌈擅长领域:Java、大数据、运维、电子
🙏🏻如果本文章各位小伙伴们有帮助的话,🍭关注+👍🏻点赞+🗣评论+📦收藏,相应的有空了我也会回访,互助!!!
🤝另本人水平有限,旨在创作简单易懂的文章,在文章描述时如有错,恳请各位大佬指正,在此感谢!!!

@[TOC]

Storm简介

1.官网

http://storm.apache.org/

2.strom的两种形式

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150233214-1660343507.png

2.strom的特性

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150432933-852484150.png

3.使用场景

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150502917-768778.png

4.集群架构

各个节点快速失败,无状态。

快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。

无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、

可以实现高可靠性。

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150608198-2014603231.png

5.集群架构进程

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150706308-1395210200.png

6.组件 Nimbus

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151116183-934096483.png

7.从节点Supervisor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151225683-536020167.png

8.组件worker

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151344354-1508431864.png

9.组件Executor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151421151-793170831.png

10.组件zookeeper

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151529464-1358939842.png

11.组件UI

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151622495-1722274787.png

12.组件Logviewer

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151651776-778865111.png

13.组件Netty

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151727870-121197440.png

Storm集群部署

集群规划

一、storm集群整体部署

集群总共使用了6台机器:

storm使用3个节点(nimbus在node01, supervisor在node02、node03)

zookeeper使用3个节点(node04、node05、node06)
在这里插入图片描述

Zookeeper高可用安装

二、zookeeper安装

1、使用最新的稳定版本3.4.6,下载地址http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz

tar zxvf zookeeper-3.4.6.tar.gz 
ln -s zookeeper-3.4.6 zookeeper
rm  zookeeper-3.4.6.tar.gzcp zookeeper/conf/zoo_sample.cfg zookeeper/conf/zoo.cf`

2、修改配置文件zoo.cfg , 根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.1=node06:2888:3888
server.2=node05:2888:3888
server.3=node04:2888:3888

3、zookeeper的所有节点上执行1、2步骤后,在zoo.cfg中配置的dataDir目录下添加myid文件,内容为server.1=node06:2888:3888配置中server后面的id(node06的myid文件内容为1)

`echo "1" > zookeeper/data/myid    (node06)
echo "2" > zookeeper/data/myid    (node05)
echo "3" > zookeeper/data/myid    (node04)`

4、在所有节点上启动zookeeper

bin/zkServer.sh start

jps命令验证QuorumPeerMain进程是否启动成功
在这里插入图片描述

启动客户端连接测试: bin/zkCli.sh -server node06:2181

至此,Zookerper安装成功

Storm安装

三、storm安装

选用最新的0.9.2版本进行安装部署,下载地址http://mirror.bit.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

1、安装前提(自行先安装java、python)

Java 6及以上     Python 2.6.6及以上

2、安装storm包

 tar zxvf apache-storm-0.9.2-incubating.tar.gz 
 ln -s apache-storm-0.9.2-incubating storm
 rm apache-storm-0.9.2-incubating.tar.gz`

3、修改conf/storm.yaml配置文件,根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。(配置文件采用yaml格式,可以百度下它的具体语法,

以免格式使用错误,造成启动失败)


 storm.zookeeper.servers:
     - "node06"
     - "node05"
     - "node04"
 #nimbus.host: "node01"
#1.2版本之后使用nimbus.seeds,代替了nimbus.host
 storm.local.dir: "/usr/local/storm/data"
 supervisor.slots.ports:
   - 6700
   - 6701

 ui.port: 6066

4、修改storm_env.sh,配置JDK的home

启动并测试Storm

1、在storm的所有节点上执行1、2、3步骤后

node01启动nimbus:bin/storm nimbus >/dev/null 2>&1 &

node02、node03启动supervisor:bin/storm supervisor >/dev/null 2>&1 & ,bin/storm logviewer > /dev/null 2>&1 &

node01启动ui: bin/storm ui >/dev/null 2>&1 &
在这里插入图片描述
在这里插入图片描述
2、访问node01:6066查看storm ui页面
在这里插入图片描述
3、测试Storm的实时分布式计算框架的搭建的成功与否

storm jar examples/storm-starter/storm-starter-topologies-0.9.2-incubating.jar storm.starter.WordCountTopology wordcount

在这里插入图片描述
注意:storm停止需要kill掉,没有专属的stop命令

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
22天前
|
分布式计算 DataWorks MaxCompute
DataWorks中odps到容器部署starrocks的单表同步遇到写入问题
【1月更文挑战第6天】【1月更文挑战第29篇】DataWorks中odps到容器部署starrocks的单表同步遇到写入问题
50 3
|
22天前
|
消息中间件 分布式计算 大数据
大数据组件之storm简介
大数据组件之storm简介
28 2
|
22天前
|
SQL 分布式计算 资源调度
常用大数据组件的Web端口号总结
这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
27 2
常用大数据组件的Web端口号总结
|
22天前
|
监控 大数据 数据处理
大数据组件之Storm简介
【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
26 4
|
22天前
|
存储 分布式计算 Hadoop
【专栏】Hadoop,开源大数据处理框架:驭服数据洪流的利器
【4月更文挑战第28天】Hadoop,开源大数据处理框架,由Hadoop Common、HDFS、YARN和MapReduce组成,提供大规模数据存储和并行处理。其优势在于可扩展性、容错性、高性能、灵活性及社区支持。然而,数据安全、处理速度、系统复杂性和技能短缺是挑战。通过加强安全措施、结合Spark、自动化工具和培训,Hadoop在应对大数据问题中保持关键地位。
|
22天前
|
存储 数据可视化 大数据
大数据技术框架
【4月更文挑战第20天】大数据一般需要经过6个主要环节,包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化。
|
22天前
|
数据可视化 Linux Apache
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
|
22天前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
146 0
|
22天前
|
人工智能 自然语言处理 大数据
AI大数据智能导诊系统源码 Springboot框架
智能导诊系统是在医院中使用的引导患者自助就诊挂号,在就诊的过程中有许多患者不知道需要挂什么号,要看什么病,通过智慧导诊系统,可输入自身疾病的症状表现,或选择身体部位,再经由智能导诊系统多维度计算,AI智能引擎分析、准确推荐科室,引导患者挂号就诊,实现科学就诊,不用担心挂错号。
73 0
|
22天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章