快速了解Hadoop
网络异常,图片无法展示
|
企业常用:1.X版本 2.X版本
为了解决海量数据存储和计算问题应运而生的框架
Hadoop适合海量数据分布式存储和分布式计算
Hadoop作者:Doug Cutting,Hadoop由作者孩子的毛绒玩具来命名。
Hadoop发行版
发行版:原始开源版本进行改造后得到的版本
举例子:安卓系统由多种发行版、比如Oppo、魅族、小米、华为都基于安卓进行定制。
Apache Hadoop:官方版本、对自身运维要求较高。
Cloudera Hadoop:商业版本,对官方版本进行优化、提供界面操作、方便运维管理。
HortonWorks:开源,界面操作,目前以及被CDH收购。
建议:实际工作中进行CDH平台进行搭建。
Hadoop演变历史
网络异常,图片无法展示
|
1.X到2.X
2.X比1.X多了Yarn进行资源管理、1.X中资源管理和计算都是MapReduce
2.X到3.X
1.Java版本改为java8以上
2.HDFS支持纠删码
3.HDFS支持多个NameNode、提高高可用能力
4.MR任务级本地优化、提升计算效率
5.多重服务默认端口变更
Hadoop三大核心组件:后续详细介绍
HDFS:分布式存储
MapReduce:分布式计算
Yarn:资源管理