《MapReduce 2.0源码分析与编程实战》一1.3 简单、粗暴、有效——这就是Hadoop-阿里云开发者社区

开发者社区> 异步社区> 正文

《MapReduce 2.0源码分析与编程实战》一1.3 简单、粗暴、有效——这就是Hadoop

简介:
+关注继续查看

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章,第1.3节,作者: 王晓华 责编: 陈冀康,更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.3 简单、粗暴、有效——这就是Hadoop

2005年,IT界先锋Apache基金会率先提出了一种先进的不以关系型数据为基础的大数据处理模型——Hadoop。

Hadoop就是解决面向互联网及其他来源的大数据分析和并行处理的计算模型。它的诞生引起了学术界、金融界以及商业界的广泛关注。Hadoop创建之初的宗旨就是让使用者能够通过使用大量普通的服务器搭建相应的服务器集群来实现大数据的并行处理,其优先考虑的是数据扩展性和系统的可用性。

简单、粗暴、有效——这就是Hadoop。

Hadoop是一个简单的大数据分布式处理框架,可以使程序设计人员和数据分析人员在不了解分布式底层细节的情况下,开发分布式程序。

Hadoop是一款粗暴的数据处理工具程序。读者在学习Hadoop以前,可能习惯了用精巧的算法、优雅的程序对数据进行处理。但是到Hadoop这里,可以套用电影里的一句台词,“她来了,一切都变了”。Hadoop创新了数据获取和处理的理念,不再需要使用以往的建立索引来对数据分类,通过相应的表链接将需要的数据匹配成我们需要的格式。Hadoop没有索引,只有蛮力。

小提示:
Hadoop通过蛮力对数据进行处理。一台计算机处理速度慢,那么就找十台计算机同时进行处理。十台计算机处理慢,找一百台同时进行处理。一百台计算机还是处理慢,那么就找一千台同时进行处理。这也是Hadoop处理数据的精髓。

Hadoop是一款有效的数据处理工具程序,充分利用集群的能力对数据进行处理,其核心就是MapReduce数据处理。通过对数据的输入、分拆与组合,可以有效地提高数据管理的安全性,同时也能够很好地访问被管理的数据。

Hadoop由开源的Java程序编写而成,是由Apache基金会开发的完全免费使用的开源程序(Open Source)。Hadoop开创性地使用了一种从最底层结构上就与现有技术完全不同但是更加具有先进性的数据存储和处理技术。使用Hadoop无需掌握系统的底层细节,更不需要购买价格不菲的软硬件平台,可以无限制地在价格低廉的商用PC上搭建所需规模的评选数据分析平台。即使从只有一台商用PC的集群平台开始,也可以在后期任意扩充其内容。有了Hadoop后,再没有数据被认为是过于庞大而不好处理或存储的了,从而解决了之前无法解决的对海量数据进行分析的问题,发现了其中潜在的价值。

通过使用自带的数据格式和自定义的特定数据格式,Hadoop基本上可以按照程序设计人员的要求处理任何数据,不论这个数据类型是什么样的。数据可以是音乐、电影、文本文件、Log记录等,都可以作为输入存储在Hadoop中。通过编写相应的MapReduce处理程序,Hadoop会帮助用户获得任何想要的答案。

“魔镜魔镜告诉我,这个背后有什么?”Hadoop还可以挖掘任何看起来毫无关联性的数据背后隐藏的各种信息,将其共同连接构建和呈现出来,从而能够提供其中包含的各种商业信息和价值规律,让使用者根据更多的具有规律性的参考信息作出决策。

“只要给我一个支点,我就能撑起地球。”Hadoop或许就是那个撑起大数据处理的支点。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
.NET数据库编程求索之路--6.使用ADO.NET实现(三层架构篇-使用List传递数据-基于存储过程)(2)
6.使用ADO.NET实现(三层架构篇-使用List传递数据-基于存储过程)(2)      【 夏春涛 email: xchuntao@163.com  blog: http://www.cnblogs.
770 0
.NET数据库编程求索之路--5.使用ADO.NET实现(三层架构篇-使用List传递数据)(3)
5.使用ADO.NET实现(三层架构篇-使用List传递数据)(2)   作者:夏春涛 xchunta@163.com 转载请注明来源:http://www.cnblogs.com/SummerRain/archive/2012/07/26/2610957.
496 0
TreeMap源码分析——基础分析(基于JDK1.6)
常见的数据结构有数组、链表,还有一种结构也很常见,那就是树。前面介绍的集合类有基于数组的ArrayList,有基于链表的LinkedList,还有链表和数组结合的HashMap,今天介绍基于树的TreeMap。
410 0
HashMap源码分析(基于JDK1.6)
在Java集合类中最常用的除了ArrayList外,就是HashMap了。本文尽自己所能,尽量详细的解释HashMap的源码。一山还有一山高,有不足之处请之处,定感谢指定并及时修正。     在看HashMap源码之前先复习一下数据结构。
498 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(2)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(2)     7.3 数据访问层工厂HomeShop.DALFactory      1 using System; 2 using System.
891 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(1)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(1)     7.1 解决方案框架 解决方案(.sln)包含以下几个项目: (1)类库项目HomeShop.DbUtility,数据访问实用工具; (2)类库项目HomeShop.
745 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(4)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(4) 7.7 业务逻辑层HomeShop.BLL OrderBiz.cs View Code  1 using System; 2 using System.
776 0
+关注
异步社区
异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区,也是国内领先的IT专业图书社区,致力于优质学习内容的出版和分享,实现了纸书电子书的同步上架,于2015年8月上线运营。公众号【异步图书】,每日赠送异步新书。
12049
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载