本节书摘来华章计算机《Storm实时数据处理》一书中的第2章 ,第2.1节,(澳)Quinton Anderson 著 卢誉声 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。
2.1 简介
本章将会展示一个企业日志存储系统的实现方法,以及一个基于Storm处理系统的搜索分析解决方案。其实日志数据处理已经不再是一个需要解决的问题了,但它依然能够帮助我们加深理解这些新概念。
数据流处理在现代企业中是一个主要的架构关注点。但通常情况下,最理想的数据流也只是半结构化的。本章展示了一个企业日志的处理方案,目的是为了让读者学习了解各种重要概念,获得处理各种类型数据的能力。由于日志数据量庞大,因此日志数据也为学术研究提供了极大的便利。对于任何流处理或分析工作来说,其成功的关键都在于深入理解实际数据和获取数据这两项因素上,而这往往非常困难。
因此,如何将架构设计蓝图运用到企业其他形式的数据中,才是读者需要重点关注的问题。
你将学习如何建立日志代理,它可以部署到你环境中的任意节点上。你也将学到如何使用Storm和Redis集中式地收集、分析、索引和统计日志,以便日后搜索和展示它们的基本统计信息。