BigData之Storm:Apache Storm的简介、深入理解、下载、案例应用之详细攻略

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: BigData之Storm:Apache Storm的简介、深入理解、下载、案例应用之详细攻略

目录


Apache Storm的简介


Apache Storm的深入理解


1、Storm与hadoop


2、Apache Storm的API


Apache Storm的下载


Current 2.2.x Release


Apache Storm的案例应用


1、Apache Storm集成



Apache Storm的简介


       Apache Storm是一个免费的、开源的分布式实时计算系统。Apache Storm使它能够轻松可靠地处理无绑定的数据流,就像Hadoop对批处理所做的那样进行实时处理。Apache Storm很简单,可以与任何编程语言一起使用,而且使用起来很有趣!

       Apache Storm有很多用例:实时分析、在线机器学习、连续计算、分布式RPC、ETL等等。Apache Storm速度很快:基准测试显示,每个节点每秒处理的元组超过100万。它是可扩展的,容错的,保证您的数据将被处理,并且易于设置和操作。

       Apache Storm集成了您已经使用的排队和数据库技术。Apache Storm拓扑消耗数据流,并以任意复杂的方式处理这些流,在计算的每个阶段之间根据需要对流进行重新分区。在教程中阅读更多内容。


       Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。


官网:http://storm.apache.org/

文档:http://storm.apache.org/releases/current/index.html




Apache Storm的深入理解


1、Storm与hadoop


       全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年也不会有s4、storm、puma这些实时计算系统如雨后春笋般冒出来啦。



2、Apache Storm的API


       Apache Storm有一个简单易用的API。在Apache Storm上编程时,可以操作和转换元组流,元组是一个指定的值列表。元组可以包含任何类型的对象;如果您想使用Apache Storm不知道的类型,那么很容易为该类型注册一个序列化器。



Apache Storm的下载


下载地址:http://storm.apache.org/downloads.html



Current 2.2.x Release


The current 2.2.x release is 2.2.0. Source and binary distributions can be found below. The list of changes for this release can be found here.


Documentation

Javadocs


apache-storm-2.2.0.tar.gz [PGP] [SHA512]

apache-storm-2.2.0.zip [PGP] [SHA512]

apache-storm-2.2.0-src.tar.gz [PGP] [SHA512]

apache-storm-2.2.0-src.zip [PGP] [SHA512]

Apache Storm artifacts are hosted in Maven Central. You can add Apache Storm as a dependency with the following coordinates:


groupId: org.apache.storm

artifactId: storm-{component}

version: 2.2.0


Apache Storm的案例应用


1、Apache Storm集成


       Apache Storm集成了任何排队系统和任何数据库系统。Apache Storm的spout抽象使得集成新的排队系统变得很容易。示例队列集成包括:


Kestrel

RabbitMQ / AMQP

Kafka

JMS

Amazon Kinesis

       同样,将apachestorm与数据库系统集成也很容易。只需打开与数据库的连接,然后像平常一样读/写。apachestorm将在必要时处理并行化、分区和失败时重试。







相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
11月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
522 5
|
7月前
|
Java 网络安全 Apache
SshClient应用指南:使用org.apache.sshd库在服务器中执行命令。
总结起来,Apache SSHD库是一个强大的工具,甚至可以用于创建你自己的SSH Server。当你需要在服务器中执行命令时,这无疑是非常有用的。希望这个指南能对你有所帮助,并祝你在使用Apache SSHD库中有一个愉快的旅程!
378 29
|
安全 网络协议 应用服务中间件
AJP Connector:深入解析及在Apache HTTP Server中的应用
【9月更文挑战第6天】在Java Web应用开发中,Tomcat作为广泛使用的Servlet容器,经常与Apache HTTP Server结合使用,以提供高效、稳定的Web服务。而AJP Connector(Apache JServ Protocol Connector)作为连接Tomcat和Apache HTTP Server的重要桥梁,扮演着至关重要的角色
363 2
|
11月前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
332 1
|
12月前
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
132 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
12月前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
250 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
|
11月前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
369 8
|
12月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
169 3
|
存储 运维 关系型数据库
探索 Apache Paimon 在阿里智能引擎的应用场景
本文整理自Apache Yarn && Flink Contributor,阿里巴巴智能引擎事业部技术专家王伟骏(鸿历)老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。
26072 34
探索 Apache Paimon 在阿里智能引擎的应用场景
|
12月前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
142 2

推荐镜像

更多