【Hadoop技术栈篇】认识Hadoop,起源和发展

简介: Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。


目录

1. Hadoop介绍

2. Hadoop发展简史

3. Hadoop特性优点

4. Hadoop国内外应用


1. Hadoop介绍

Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理

image.gif编辑

狭义上说,Hadoop指Apache这款开源框架,它的核心组件有

HDFS(分布式文件系统):解决海量数据存储

YARN(作业调度和集群资源管理的框架):解决资源任务调度

MAPREDUCE(分布式运算编程框架):解决海量数据计算

image.gif编辑

广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

image.gif编辑

当下的Hadoop已经成长为一个庞大的体系,随着生态系统的成长,新出现的项目越来越多,其中不乏一些非Apache主管的项目,这些项目对HADOOP是很好的补充或者更高层的抽象。

2. Hadoop发展简史

Hadoop是Apache Lucene创始人 Doug Cutting 创建的。最早起源于Nutch,它是Lucene的子项目。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题:如何解决数十亿网页的存储和索引问题。

2003年Google发表了一篇论文为该问题提供了可行的解决方案。论文中描述的是谷歌的产品架构,该架构称为:谷歌分布式文件系统(GFS),可以解决他们在网页爬取和索引过程中产生的超大文件的存储需求。

2004年 Google发表论文向全世界介绍了谷歌版的MapReduce系统

同时期,Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE,并从Nutch中剥离成为独立项目HADOOP,到2008年1月,HADOOP成为Apache顶级项目,迎来了它的快速发展期。

2006年Google发表了论文是关于BigTable的,这促使了后来的Hbase的发展。

因此,Hadoop及其生态圈的发展离不开Google的贡献。

3. Hadoop特性优点

扩容能力(Scalable):Hadoop是在可用的计算机集群间分配数据并完成计算任务的,这些集群可用方便的扩展到数以千计的节点中。

成本低(Economical):Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据,以至于成本很低。

高效率(Efficient):通过并发数据,Hadoop可以在节点之间动态并行的移动数据,使得速度非常快。

可靠性(Rellable):能自动维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

4. Hadoop国内外应用

不管是国内还是国外,Hadoop最受青睐的行业是互联网领域,可以说互联网公司是hadoop的主要使用力量。

国外来说,Yahoo、Facebook、IBM等公司都大量使用hadoop集群来支撑业务。比如:

Yahoo的Hadoop应用在支持广告系统、用户行为分析、支持Web搜索等。

Facebook主要使用Hadoop存储内部日志与多维数据,并以此作为报告、分析和机器学习的数据源。

国内来说,BAT领头的互联网公司是当仁不让的Hadoop使用者、维护者。比如Ali云梯(14年国内最大Hadoop集群)、百度的日志分析平台、推荐引擎系统等。

国内其他非互联网领域也有不少hadoop的应用,比如:

金融行业: 个人征信分析

证券行业: 投资模型分析

交通行业: 车辆、路况监控分析

电信行业: 用户上网行为分析

总之:hadoop并不会跟某种具体的行业或者某个具体的业务挂钩,它只是一种用来做海量数据分析处理的工具。

目录
相关文章
|
存储 分布式计算 资源调度
【大数据Hadoop实战篇】 2
【大数据Hadoop实战篇】
|
SQL 分布式计算 Hadoop
【大数据Hadoop实战篇】 1
【大数据Hadoop实战篇】
|
存储 SQL 分布式计算
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
204 0
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
|
存储 SQL 分布式计算
大数据入门-三分钟读懂Hadoop
大数据入门-三分钟读懂Hadoop
179 0
大数据入门-三分钟读懂Hadoop
|
存储 机器学习/深度学习 分布式计算
大数据—Hadoop 3.x—一.概念
1. 基本概念 1. hadoop 是一个apache的分布式系统基础架构 2. 主要解决海量数据的存储海里数据的分析计算问题 3. 通常来说,hadoop通常是指一个更广泛的概念hadoop生态圈
141 0
大数据—Hadoop 3.x—一.概念
|
存储 SQL 分布式计算
Hadoop系列之大数据启蒙
Hadoop系列之大数据启蒙
224 0
Hadoop系列之大数据启蒙
|
分布式计算 Hadoop 分布式数据库
阿里封神谈hadoop生态学习之路
在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前base在E-Mapreduce。在这,笔者尽可能梳理下hadoop的学习之路。
49556 9
|
存储 机器学习/深度学习 SQL
大数据hadoop面试经典题
  0.在Hadoop中定义的主要公用InputFormat中,默认是哪一个?(A)   A、 TextInputFormat   B、 KeyValueInputFormat   C、 SequenceFileInputFormat   1. 下面哪个程序负责 HDFS 数据存储?(C)
208 0
|
SQL 存储 分布式计算
Hadoop 怎么了,大数据路在何方
近期 Hadoop 消息不断,众说纷纭。本文以 Hadoop 的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。
|
存储 分布式计算 大数据
Hadoop资料整理导向
一、Hadoop快速入门 分布式计算开源框架Hadoop_入门实践 一篇不错的hadoop介绍文章 用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门 一...
1597 0

相关实验场景

更多