【好书试读】大数据处理之道

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 近年来,“大数据”已然成为IT界如火如荼的词,与“云计算” 并驾齐驱,成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代,数据已经被称为新的资源,是支撑物联网发展的基石。
232ddd895a59eed934f4e380c10a26e4ad50ae4f


天猫购买链接: 大数据处理之道

近年来,“大数据”已然成为IT界如火如荼的词,与“云计算” 并驾齐驱,成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代,数据已经被称为新的资源,是支撑物联网发展的基石。
那么,如何把“死”的数据变成真正有效的“资源”,成为近年来IT界人士共同思考的问题。一时间,各种大数据处理技术如井喷一般涌现。Hadoop、 Spark、Storm、Dremel、Drill等大数据解决方案争先恐后地展现出来。需要说明的是,这里所有的方案并不是一种技术,而是数种甚至数十种技术的组合。就拿Hadoop来说,Hadoop只是“领头羊”,关键成员还有MapReduce、HDFS、Hive、HBase、Pig、ZooKeeper等,大有“八仙过海,各显神通”的气势和场面。
本书首先横向总结性地阐述了各种大数据处理技术,重点从缘起缘落、设计思想、架构原理等角度剖析了各种技术,分析了各种技术的优缺点和适用场景。本书并不涉及软件的安装等,因为如何安装和使用,在网络上搜索即可,着实没有必要浪费读者的时间和金钱。在这一部分,第1篇为Hadoop军营;第2篇为Spark星火燎原;第3篇讲述了其他大数据处理技术,如Storm、Dremel、Drill等。
其次阐述了大数据下的日志分析技术。在大数据时代,日志分析方案呈现出遍地开花的景象。如果将大数据处理系统比作一个可能得病的人,那么日志分析就是负责看病的医生,要想让大数据处理系统健康、平稳地运行,日志分析和监控非常重要。这一部分重点阐述了日志分析技术中如日中天的方案ELK。
最后展望了大数据处理技术的发展趋势。大数据处理技术发展迅猛,数据量越来越大,技术的革新在所难免。
作为大数据研发人员,只有时刻学习新技术,方能立于技术前沿。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
技术人修炼之道阅读笔记(一)让自己更值钱的5个能力
技术人修炼之道阅读笔记(一)让自己更值钱的5个能力
|
5月前
|
运维 C# 开发工具
C#实战 | 天行健、上下而求索
【7月更文挑战第7天】使用C语言实现了一个小球(小方块)在屏幕上斜向移动并反弹的程序。当C#入门案例包括创建控制台应用和Windows窗体应用。 1. **控制台应用“天行健,君子以自强不息”** - 使用Visual Studio创建新C#控制台项目,命名为ConsoleAppStrengthenSelf。 - 在Main()方法中使用`Console.WriteLine()`输出励志语句。 - 运行程序,控制台显示结果。 每个项目都涉及Visual Studio的使用,Main()作为程序入口,以及不同类型的用户交互:控制台的文本输出和Windows窗体的图形界面。
53 0
C#实战 | 天行健、上下而求索
|
算法 C++
深入浅出程序设计竞赛(基础篇)
本书从编程语言开始,以C++语言为基础讲解, 然后讲解了基础的算法开始,基本上常用的算法都介绍了, 还进行了基础的数学与数论知识。
1479 0
深入浅出程序设计竞赛(基础篇)
|
SQL 机器学习/深度学习 算法
冬季实战营第五期:轻松入门学习大数据笔记
冬季实战营第五期:轻松入门学习大数据笔记
180 0
冬季实战营第五期:轻松入门学习大数据笔记
|
机器学习/深度学习 算法 NoSQL
阿里为你精选各大技术领域100+本技术好书和思维导图,建议收藏!!!
程序员不止需要阅读技术书籍,更需要阅读更多其他领域的书籍,比如如何思考,如何阅读,如何管理时间和提供工作效率的书籍,在程序员不断精进的路上,需要更多书籍的陪伴。不管你是入门,自学编程还是已经在工作,相信书籍都会帮助到你
|
Devops 容器 NoSQL
独家 | 一文带你盘点最新热门技术话题,技术圈潮人必读!
本文对比2018第四季度和2019第一季度中DZone上不同技术话题的热门程度,分析哪些是当前的流行话题,哪些话题的热度减退,帮你成为技术圈的潮人!
1719 0
|
机器学习/深度学习 人工智能 大数据
《数据科学家访谈录》读书笔记
《数据科学家访谈录》  【美】Carl Shan(单研) 、William Chen(陈子蔚) 、Henry Wang(汪强明)  Max Song(宋迈思)著 点击封面购买纸书 一、本书内容的介绍 《数据科学家访谈录》是一本对当前全球最知名的25位数据科学家的深度采访,然后汇聚成册的访谈录,读者可以从中学习到这25位数据科学领域的大师的个人经历及其成长过程,以及在各自的职业生涯所面临的各种选项时所做出的选择,具有很高的参考价值。
2425 0