《大数据系统构建:可扩展实时数据系统构建原理与最佳实践 》一 第1章 大数据的新范式-阿里云开发者社区

开发者社区> 华章计算机> 正文

《大数据系统构建:可扩展实时数据系统构建原理与最佳实践 》一 第1章 大数据的新范式

简介:
+关注继续查看

本节书摘来自华章出版社《大数据系统构建:可扩展实时数据系统构建原理与最佳实践 》一书中的第1章,第1.1节,南森·马茨(Nathan Marz) [美] 詹姆斯·沃伦(James Warren) 著 马延辉 向 磊 魏东琦 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第1章

大数据的新范式

本章内容
扩展传统数据库时遇到的典型问题
为什么NoSQL不是万能的
从基本原理思考大数据系统
大数据工具的情形
SuperWebAnalytics.com的介绍
在过去的十年里,人们创造的数据量一路飙升—每秒产生超过30 000GB的数据,并且数据创造的速度仍在加快。
我们处理的数据是多样化的。用户创建的内容有博客文章、微博、社交网络的互动和照片等。服务器不断地记录用户正在做什么的消息。科学家们创造了精确“测量”世界的标尺—周围世界的详细测量结果。互联网,这使得数据的最终来源是浩瀚无垠的。
数据的惊人增长已经深刻地影响了商业。传统的数据库系统,比如关系型数据库,已经被发展到极限。在越来越多的情况下,这些系统已经承受不住“大数据”的压力了。传统系统以及与它们相关的数据管理技术未能成功扩展到大数据的范畴。
为了应对大数据的挑战,新一代的技术出现了。其中许多新技术被分类到NoSQL术语下。在某些方面,这些新技术比传统数据库更复杂,而在另外一些方面,它们更简单一些。这些系统可以扩展到非常大的数据集,但要想有效地使用这些技术,需要一套全新的技巧—然而并没有放之四海而皆准的解决方案。
这些大数据系统中有许多是由Google所开创的,包括分布式文件系统、MapReduce计算框架和分布式锁服务。该领域中的另一个先驱是Amazon,它创造了一个革新性的分布式键/值存储系统,称为“Dynamo”。这些年,开源社区开发出了如下的Hadoop、HBase、MongoDB、Cassandra、RabbitMQ和无数其他项目。
本书是关于复杂性和可扩展性的。为了应对大数据的挑战,我们将从头开始重新考虑数据系统。你会发现在例如关系型数据库管理系统(Relational Database Management Systems, RDBMS)这样的传统系统中,人们管理数据的一些最基本方法对于大数据系统来说过于复杂。为简单起见,替代方法就是你即将探索的大数据新范式。我们把这种方法称为“Lambda架构”。
在第1章中,你将探索“大数据问题”以及为什么需要大数据的新范式。你会看到一些传统技术扩展的风险,并发现用传统方式构建数据系统的缺陷。以数据系统基本原理为出发点,我们将制订一种不同的方式来构建数据系统,以避免传统技术的复杂性。你会看到技术的最近趋势是如何促进新系统的使用的,最后你还会看到一个大数据系统的例子,我们将在整本书中贯穿构建这个大数据系统,以此演示关键概念。
1.1 本书是如何组织的
你可以认为本书主要是一本理论性的书籍,专注于如何构建适用于任何大数据问题的解决方案。无论目前情形下的工具怎样,你将学习的原则都是有效的,你可以据此来严格选择适合你的应用程序的工具。
本书不是对数据库、计算和其他相关技术的调研。尽管在本书中,你将学习如何使用诸如Hadoop、Cassandra、Storm和Thrift等工具,但是本书的目的不是学会使用这些工具。相反,这些工具是学习构建具备鲁棒性和可扩展性的数据系统的一种手段。在这些工具之间进行相关的比较和对比,对你来说是不公平的,这样就会偏离学习底层原理的道路。换句话说,你将学习如何钓鱼,而不仅仅是如何使用特定的鱼竿。
通过这种方式,我们将本书划分为理论章节和例证章节。你可以只阅读理论章节,以全面理解构建大数据系统的方法—但我们认为,将理论映射到例证章节中的特定工具这一过程,将会使你对这些资料有更丰富、更细致的理解。
但是不要被本书的名字所欺骗—理论章节也有很多示例。本书中的首要案例是SuperWebAnalytics.com,这一案例在理论和例证章节都有用到。在理论章节,你可以看到SuperWebAnalytics.com的算法、索引设计和架构。例证章节利用具体的工具将这些设计映射为功能代码。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
node+mysql+express接口开发数据库连接池
node+mysql+express接口开发数据库连接池
5 0
冬季训练营-从0到1玩转云服务器学习报告记录
从0到1玩转云服务器学习报告记录,搭建云上博客全过程
9 0
node+express controller
Node + Express Controller
3 0
SQL必知必会(一)
对于我们而言,数据库是一个以某种有组织的方式存储的数据集合。最简单的办法就是将数据库想象成一个文件柜。这个文件柜是一个存放数据的物理位置,不管数据是什么,也不管数据是如何组织的。 数据库(DataBase) 保存有组织数据的容器(通常为一个或一组文件)
13 0
SQL必知必会(二)
表中的数据都是按行来存储的,所保存的每个记录存储在自己的行内。如果将表想象为网格,网格中垂直的列为表列,水平行为表行。
13 0
阿里云天池大赛赛题解析——机器学习篇-赛题一(7)
阿里云是国内知名的云计算、大数据、人工智能技术型公司,是阿里巴巴集团最重要的技术部门。阿里云天池是阿里云面向开发者和教育行业的资源输出部门,天池大赛是国内最大规模的人工智能算法赛事,致力于汇聚全球AI精英为企业解决真实问题。自2014年至今已举办数十次行业顶级算法赛事,全球参赛开发者超过30万人。然而对于更广大的普通开发者和大学生群体来说,高规格的算法大赛仍然具有很高的门槛。本书就是针对受众最广泛的新手人群而编写的,精选阿里巴巴最典型的人工智能算法应用案例,邀请天池大赛最顶级的获奖选手联合编撰,公开那些鲜为人知的技术秘籍,力图使每一个涉足数据智能算法技术的开发者从中获益......
7 0
SQL必知必会(三)
作用是从一个或多个表中检索信息
12 0
tortoise-orm的迁移工具aerich
tortoise-orm的迁移工具aerich
5 0
飞天加速计划使用体验
对于云服务器的使用体验感受
7 0
冬季实战营第一期:从零到一上手玩转云服务器全流程
冬季实战营第一期:从零到一上手玩转云服务器
11 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载