天猫购买链接:
大数据处理之道
近年来,“大数据”已然成为IT界如火如荼的词,与“云计算” 并驾齐驱,成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代,数据已经被称为新的资源,是支撑物联网发展的基石。
那么,如何把“死”的数据变成真正有效的“资源”,成为近年来IT界人士共同思考的问题。一时间,各种大数据处理技术如井喷一般涌现。Hadoop、 Spark、Storm、Dremel、Drill等大数据解决方案争先恐后地展现出来。需要说明的是,这里所有的方案并不是一种技术,而是数种甚至数十种技术的组合。就拿Hadoop来说,Hadoop只是“领头羊”,关键成员还有MapReduce、HDFS、Hive、HBase、Pig、ZooKeeper等,大有“八仙过海,各显神通”的气势和场面。
本书首先横向总结性地阐述了各种大数据处理技术,重点从缘起缘落、设计思想、架构原理等角度剖析了各种技术,分析了各种技术的优缺点和适用场景。本书并不涉及软件的安装等,因为如何安装和使用,在网络上搜索即可,着实没有必要浪费读者的时间和金钱。在这一部分,第1篇为Hadoop军营;第2篇为Spark星火燎原;第3篇讲述了其他大数据处理技术,如Storm、Dremel、Drill等。
其次阐述了大数据下的日志分析技术。在大数据时代,日志分析方案呈现出遍地开花的景象。如果将大数据处理系统比作一个可能得病的人,那么日志分析就是负责看病的医生,要想让大数据处理系统健康、平稳地运行,日志分析和监控非常重要。这一部分重点阐述了日志分析技术中如日中天的方案ELK。
最后展望了大数据处理技术的发展趋势。大数据处理技术发展迅猛,数据量越来越大,技术的革新在所难免。
作为大数据研发人员,只有时刻学习新技术,方能立于技术前沿。