前 言
目前对信息高时效性、可操作性的需求不断增长,这要求软件系统在更少的时间内能处理更多的数据。随着可连接设备数量不断增加,以及在众多行业领域广泛应用,这种信息需求已无处不在。传统企业的运营系统被迫处理原先只有互联网企业才会遇到的大规模数据。这种重大转变正不断瓦解传统架构和解决方案,传统上会将在线事务处理和离线分析分割开来。与此同时,人们正在重新勾勒从数据中提取信息的意义和价值。软件框架和基础设施也在不断进化,以适应这种新场景。
具体地说,数据的生成可以看作一连串发生的离散事件,这些事件流会伴随着不同的数据流、操作和分析,都会由一个通用的软件框架和基础设施来处理。
Storm正是最流行的实时流计算框架之一,它提供了可容错分布式计算所要求的基本原语和保障机制,可以满足大容量关键业务应用的需求。它不但是一套技术的整合,也是一种数据流和控制的机制。很多大公司都将Storm作为大数据处理平台的核心部分。
尝试使用本书中介绍的设计模式,你将学到开发、部署、运营数据处理的流程,它具有每天或者每小时处理上亿次事务的能力。
本书介绍了多种分布式计算相关的主题,包括设计和集成的模式,还介绍了这些技术常见的适用领域和具体应用。本书通过实际示例,从最简单的topology出发,首先向用户介绍了Storm基础,然后通过更复杂的示例,逐步引入Storm的高级概念、更细致的部署方案以及运营中需要关注的事项。
目 录
前言
[第1章 分布式单词计数
1.1 Storm topology的组成部分——stream、spout和bolt ](https://yq.aliyun.com/articles/118179)
1.2 单词计数topology的数据流
1.3 实现单词计数topology
1.4 Storm的并发机制
1.5 理解数据流分组
1.6 有保障机制的数据处理
总结
[第2章 配置Storm集群
2.1 Storm集群的框架 ](https://yq.aliyun.com/articles/118231)
2.2 Storm技术栈简介
2.3 在Linux上安装Storm
2.4 把toplogy提交到集群中
2.5 自动化集群配置
2.6 Puppet的快速入门
总结
[第3章 Trident和传感器数据
3.1 使用场景 ](https://yq.aliyun.com/articles/118289)
3.2 Trident topology
3.3 Trident spout
3.4 Trident运算
3.5 Trident聚合器
3.6 Trident状态
3.7 执行topology
总结