JStorm,让大规模流处理成为可能

简介: 本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。

本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。

JStorm 是阿里巴巴基于storm采用Java重写的一套开源的分布式实时流计算框架,其诞生于2013年,经历多次迭代,至今已经发布25了版本。总体而言,JStorm具有高性能、高稳定性,适于大规模部署这些特点,其他的用户方的特色功能包括用户自定义的调度器和资源用法、先进的日志机制、更细粒度的Metrics、动态规模调整和快速的应用升级等等。

目前,JStorm运行在超过4000台机器上,它不仅能单独部署,也实现了JStorm-on-yarn和JStorm-on-docker,使JStorm能够被部署在框架上。这些集群共形成了超过1500个应用和2000余个拓扑结构,每天产生的数据超过惊人的2PB。在实际运用中,JStorm有许多应用场景,如欺诈检测、广告审核、数据统计、系统监控、数据传输、实时推荐和应用调度等,除了供阿里自身使用,JStorm还被众安保险、科大迅飞、网宿科技等超过50家公司使用。未来,JStorm将支持Apache Beam,并努力成为一个强大的高级语言框架,使其更容易学习和调试,提供更大的吞吐量。

最后关于JStorm和Storm的区别,阿里的JStorm不仅仅是Storm的简单包装,更重要的是JStorm意味着一个流处理生态系统,一个企业级的Java Storm,并且比Storm更快、更稳定、特性也更多。

eb9732e3e1083f70d1fe5c6d71b944b951070db7

27f5ae8c6dcaff65372bafd4820fb60d8166c83e

bab74a8a17b0b51265f7bbe3579e074c09e6a02b

eb869cb2bf1c1b1341a014d5c26a152a036f9bd9

59d4cd568a9d348e369bf1590593778956d71ec3

832e9e70129877522a9ee7de18ee22126b9d086d

282a606667b6fea5506fe67d720dffe4505058ad

b87dff381ddbbf35a68012d708df360dddcb5c49

b47074b2fa83e51a2ad5a9324ae3a8312931c8ef

c381c0310d107cc457dd8249abb9cf57f157fac2

d9fd5028f4e98558cb3918400f64fcf59fcc43fa

2f9259b9e715baf2c742dded59dafe355ceb0b67

a0020a8712388973a956a4f16e56941c4eeaf35b


相关文章
|
3月前
|
消息中间件 监控 物联网
流处理系统
流处理系统
|
6月前
|
传感器 大数据 数据处理
大数据处理中的流计算技术:实现实时数据处理与分析
【7月更文挑战第30天】随着分布式系统、云原生技术、数据安全与隐私保护技术的不断发展,流计算技术将在更多领域得到应用和推广,为大数据处理和分析提供更加高效、智能的解决方案。
|
7月前
|
边缘计算 搜索推荐 物联网
实时数据处理:流计算的兴起
【6月更文挑战第15天】**流计算兴起应对实时数据挑战:** 流计算是数字化时代实时数据处理的关键,它提供低延迟分析,确保数据产生时即进行处理。这种技术强调数据流的连续性,采用分布式架构实现高效、弹性且容错的数据处理。应用场景包括物联网分析、金融交易、日志监控及实时推荐系统。未来,流计算将融合AI、边缘计算,支持多源数据,并加强安全性,成为大数据处理的重要趋势。
|
8月前
|
传感器 监控 Java
流计算中的数据延迟是什么?为什么它在流计算中很重要?
流计算中的数据延迟是什么?为什么它在流计算中很重要?
208 0
|
存储 分布式计算 大数据
大数据处理平台的架构演进:从批处理到实时流处理
大数据处理平台的架构演进:从批处理到实时流处理
357 0
|
存储 机器学习/深度学习 缓存
Flink 新一代流计算和容错——阶段总结和展望
Apache Flink 引擎架构师、阿里巴巴存储引擎团队负责人梅源在 FFA 2021 的演讲
Flink 新一代流计算和容错——阶段总结和展望
|
消息中间件 存储 大数据
实时流处理框架之Storm的安装与部署
实时流处理框架之Storm的安装与部署
260 0
实时流处理框架之Storm的安装与部署
|
消息中间件 存储 SQL
数据架构的未来——浅谈流处理架构
数据架构设计领域正在发生一场变革,其影响的不仅是实时处理业务,这场变革可能将基于流的处理视为整个架构设计的核心,而不是将流处理只是作为某一个实时计算的项目使用。本文将对比传统数据架构与流处理架构的区别,并将介绍如何将流处理架构应用于微服务及整体系统中。
474 0
数据架构的未来——浅谈流处理架构
|
数据采集 存储 大数据
阿里云StreamCompute流计算架构
阿里云流计算全流程系统架构,主要包含:数据采集,流数据,流计算,数据源,数据消费这些过程。
844 0
阿里云StreamCompute流计算架构
|
消息中间件 SQL 分布式计算
LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza
最近LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza——Samza,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统。
217 0
LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza