《Storm技术内幕与大数据实践》一导读

简介: 本书意在介绍实时大数据的各个方面,分享我们在设计实时应用过程中遇到的一些问题,让一些从零开始构建实时计算平台的公司少走弯路。我们力图使不同背景的读者都能从其中获益。


w1

前 言

Storm技术内幕与大数据实践
本书意在介绍实时大数据的各个方面,分享我们在设计实时应用过程中遇到的一些问题,让一些从零开始构建实时计算平台的公司少走弯路。我们力图使不同背景的读者都能从其中获益。

如果你从事基础架构方面的工作,可以着重阅读以下几章:在第1章中,我们整理了国内主要互联网公司在Storm应用方面的一些情况;在第2章中,我们介绍了实时平台的总体架构,随后引入了大众点评和1号店目前实时平台的一些基本情况;在第4章中,我们给出了源码剖析,为了让不懂Clojure语言的读者也能容易地理解Storm的内部原理,我们配了很多顺序图来描述调用逻辑;在第5章中,我们分享了一些在实践中总结出来的监控Storm应用的常用方法;在第6章中,我们介绍了在Storm上如何做一些扩展,方便更好地维护和管理集群;在第10章中,我们主要分享了Storm的一些小技巧和性能优化的经验。

如果你是大数据产品的开发和架构人员,可以着重阅读后面的几章,其中分享了我们一年来遇到的一些瓶颈。

如果你是算法工程师,可以着重了解第8章和第9章,里面的用户生命周期模型、实时推荐系统的算法和架构、千人千面架构等不少内容来自于我们的生产实践。设计严谨的模型在实时系统上往往会遇到比较大的性能问题,数据量、实时和算法的精准性是相互制约的,提高某一方面,往往不得不牺牲另外两个指标。在实际推荐系统的生产环境中,关联规则和协同过滤的推荐效果往往比较好,被广泛采用,而利用用户画像,结合地域、天气等上下文信息,可以进行一些更加精准的推荐。目前基于用户画像和上下文内容做个性化推荐和搜索、精准化运营和广告营销等提高交易额等转换率,也是很多公司尝试的方向。

对于网上有的或者其他书中介绍过的内容,为适应不同读者的需求,我们会简单提及以做一点点过渡。

尽管我们投入了大量的精力来写这本书,但因为水平所限,书中的内容存在不足和疏漏也在所难免,恳请读者批评指正。如果读者对本书有什么建议,欢迎发送邮件至邮箱xiaochen_0260@qq.com,期待得到真挚的反馈。

目 录

第1章 绪论
1.1 Storm的基本组件
1.2 其他流式处理框架
第2章 实时平台介绍
第3章 Storm集群部署和配置
第4章 Storm内部剖析
第5章 Storm运维和监控
第6章 Storm的扩展
第7章 Storm开发
第8章 基于Storm的实时数据平台
第9章 大数据应用案例
9.1 实时DAU计算
9.2 实时推荐系统
9.3 广告投放的精准化
9.4 实时意图和搜索
第10章 Storm使用经验和性能优化

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
监控 大数据 数据处理
大数据组件之Storm简介
【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
987 4
|
消息中间件 分布式计算 大数据
大数据组件之storm简介
大数据组件之storm简介
534 2
|
存储 运维 分布式计算
大数据组件-实时大数据处理框架Storm安装部署
大数据组件-实时大数据处理框架Storm安装部署
大数据组件-实时大数据处理框架Storm安装部署
|
消息中间件 Java 大数据
【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo
在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部分都是0.9以前的storm版本,所以有很多工作是不需要进行的,下面就storm的0.9.5版本在linux环境下进行配置进行详细解析。   由于配置storm只需要两个步骤,大大简化了配置,也是storm团队做了很大的努力,让程序员们专注于程序,让storm配置进行异常简单,好了,废话说了不少,下面正式开始讲解。
358 0
【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo
|
机器学习/深度学习 分布式计算 大数据
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
本文梳理了常见的hadoop生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题,出现原因以及单点故障的原理和解决方案(构建HA(High Available)高可用架构)。阅读本文之前,最好了解清楚各组件的架构原理。
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
|
分布式计算 大数据 Apache
分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&Spark&Storm&Elasticsearch)
热门的消息队列中间件RabbitMQ,分布式任务处理平台Celery,大数据分布式处理的三大重量级武器:Hadoop、Spark、Storm,以及新一代的数据采集和分析引擎Elasticsearch。 RabbitMQ RabbitMQ是一个支持Advanced Message Queuing Protocol(AMQP)的开源消息队列实现,由Erlang编写,因以高性能、高可用以及可伸缩性出名。
2351 0
|
分布式计算 大数据 流计算
流式大数据处理的三种框架:Storm,Spark和Samza
流式大数据处理的三种框架:Storm,Spark和Samza
1210 0
|
大数据 Apache 流计算
大数据的实时处理STORM简介
新技术如社交媒体、电邮、博客、地理信息系统GIS、无线射频识别RFID和智能手机等为基于服务信息构建提供了新的机会。 处理大数据常见的方法和框架是Apache Hadoop,它以批处理的方式运行数据处理任务。
992 0
|
大数据 流计算
大数据的实时处理STORM简介
版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/9292831 《大数据的实时处理STORM简介》 作者:chszs,转载需注明。
1110 0