【好书试读】大数据处理之道

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 近年来,“大数据”已然成为IT界如火如荼的词,与“云计算” 并驾齐驱,成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代,数据已经被称为新的资源,是支撑物联网发展的基石。
232ddd895a59eed934f4e380c10a26e4ad50ae4f


天猫购买链接: 大数据处理之道

近年来,“大数据”已然成为IT界如火如荼的词,与“云计算” 并驾齐驱,成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代,数据已经被称为新的资源,是支撑物联网发展的基石。
那么,如何把“死”的数据变成真正有效的“资源”,成为近年来IT界人士共同思考的问题。一时间,各种大数据处理技术如井喷一般涌现。Hadoop、 Spark、Storm、Dremel、Drill等大数据解决方案争先恐后地展现出来。需要说明的是,这里所有的方案并不是一种技术,而是数种甚至数十种技术的组合。就拿Hadoop来说,Hadoop只是“领头羊”,关键成员还有MapReduce、HDFS、Hive、HBase、Pig、ZooKeeper等,大有“八仙过海,各显神通”的气势和场面。
本书首先横向总结性地阐述了各种大数据处理技术,重点从缘起缘落、设计思想、架构原理等角度剖析了各种技术,分析了各种技术的优缺点和适用场景。本书并不涉及软件的安装等,因为如何安装和使用,在网络上搜索即可,着实没有必要浪费读者的时间和金钱。在这一部分,第1篇为Hadoop军营;第2篇为Spark星火燎原;第3篇讲述了其他大数据处理技术,如Storm、Dremel、Drill等。
其次阐述了大数据下的日志分析技术。在大数据时代,日志分析方案呈现出遍地开花的景象。如果将大数据处理系统比作一个可能得病的人,那么日志分析就是负责看病的医生,要想让大数据处理系统健康、平稳地运行,日志分析和监控非常重要。这一部分重点阐述了日志分析技术中如日中天的方案ELK。
最后展望了大数据处理技术的发展趋势。大数据处理技术发展迅猛,数据量越来越大,技术的革新在所难免。
作为大数据研发人员,只有时刻学习新技术,方能立于技术前沿。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
Java 程序员
收藏!阿里毕玄16篇文章,深度讲解Java开发、系统设计、职业发展
阿里毕玄结合自己的经历深度讲解Java开发、系统设计、职业发展等问题,快来一键收藏吧。
34817 1
|
2月前
|
Java 关系型数据库 API
后端开发之道:从新手到专家的蜕变之旅
在数字化时代的浪潮中,后端开发如同一座桥梁,连接着数据世界的每一个角落。本文将带领读者踏上一段从零基础到精通后端开发的旅程,探索编程语言的选择、框架的应用、数据库的设计以及API的开发等关键知识点。我们将以通俗易懂的语言,结合条理清晰的结构,逐步揭开后端开发的神秘面纱,让每一位读者都能在这段旅途中找到属于自己的位置和方向。
|
监控 架构师 安全
速读《技术人修炼之道》-看到最后定有收获
最近一段时间读完了《技术人修炼之道》,书中内容涵盖了作者多年实践和思想的结晶,整体读来有许多观点深有同感,也学习到了一些新的理念,在这里感谢黄哲铿老师。本文主要结合我自身十几年的IT行业经验,以及创业多年的感受,从书中提炼了一些个人觉得非常有价值并且好落地的点进行分享。
|
数据采集 存储 消息中间件
《阿里大数据之路》读书笔记:总述
阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。
|
机器学习/深度学习 算法 NoSQL
阿里为你精选各大技术领域100+本技术好书和思维导图,建议收藏!!!
程序员不止需要阅读技术书籍,更需要阅读更多其他领域的书籍,比如如何思考,如何阅读,如何管理时间和提供工作效率的书籍,在程序员不断精进的路上,需要更多书籍的陪伴。不管你是入门,自学编程还是已经在工作,相信书籍都会帮助到你
|
云安全 机器学习/深度学习 城市大脑
嘘!偷偷看下阿里技术大牛的私人书单
阿里妹拿到了贾扬清、吴翰清等大神的私人书单,到底大神们如何跨界学习,将知识收为己用?一起来感受!不要错过文末的送书福利哦!
10901 0
嘘!偷偷看下阿里技术大牛的私人书单
|
Java Linux 开发者
收藏!阿里毕玄16篇文章,深度讲解Java开发、系统设计、职业发展 | 技术日报(8期)
阿里毕玄结合自己的经历深度讲解Java开发、系统设计、职业发展等问题,快来一键收藏吧。
1946 0