storm培训视频

作者王刚和刘首维在2019年前使用Storm处理阿里巴巴之家的实时业务，但随着需求增加和数据规模扩大，Storm的开发与维护成本上升。他们面临SQL翻译和过度依赖外部存储（如Redis）的问题。为解决这些问题，团队在2019年初开始转向Flink引擎，Flink的SQL支持和内置状态管理吸引他们。新平台以Flink SQL为基础，服务于多个部门，支持5000亿条日计算量，涵盖实时数仓、推荐、日志分析等场景，最高QPS达200万。平台优势在于低成本开发、高性能、低维护和数据资产管理。架构包含表管理、任务配置、权限管理、UDF管理等，并计划与仓库和业务方合作，丰富功能，迁移至K8s，以及引入Flink 1.9版本。Flink Forward Asia 2019活动将深入讨论大数据技术与开源生态。

104 Storm介绍

Flume+Kafka+Storm实战：一、Kakfa与Storm整合（上）

Flume+Kafka+Storm实战：一、Kakfa与Storm整合（下）

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定（还有一种主从结构是在运行时动态选举，比如zookeeper）。通常这种主从结构存在出现单点故障的风险，Storm通过特殊处理规避这种风险，后面将解释Storm的半容错结构。

通过本文记录一下这种情况，后文中根据上述场景提供几个简单的例子。因为是初学storm、kafka，基础理论查看storm笔记：storm基本概念，，或查看Storm 简介。

快速学习 storm 介绍

Storm BaseBasicBolt和BaseRichBolt

Jstorm 是由Storm演化而来，在架构和实现上都有很大的相似度，并且沿用了Storm的编程接口，Storm的程序在很多版本上，可以无缝迁移到Jstorm。整体上说，Jstorm更稳定，灵活性更高，性能更高。