Hadoop1.x 和 Hadoop2.x 的区别|学习笔记

简介: 快速学习 Hadoop1.x 和 Hadoop2.x 的区别

开发者学堂课程【Hadoop 快速入门:Hadoop1.x 和 Hadoop2.x 的区别】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1397


Hadoop1.x 和 Hadoop2.x 的区别


区别:

图片8.png

面试的重点

1. X 组成:

Hadoop 主要解决的问题:存储、计算。

HDFS 负责解决存储问题,MapReduce 负责解决计算和资源调度问题。

2. X 组成:

Yarn 单独负责资源调度

MapReduce 单独负责计算

所以,在 Hadoop x 时代,Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度,耦合性较大。

在 Hadoop2x 时代,增加了 Yarn 只负责资源的调度,MapReduce 只负责运算。


相关文章
|
SQL 分布式计算 Hadoop
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
|
分布式计算 Hadoop 数据库
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
本文为HDP集群部署系列教程第八部分,详细介绍如何通过Ambari搭建HDP集群。涵盖Ambari数据库配置、ambari-server与ambari-agent的安装部署、自动化设置及Web界面登录等步骤,助力用户高效完成集群管理平台搭建。
570 0
|
分布式计算 Hadoop 大数据
Spark与Hadoop的区别?
【6月更文挑战第15天】Spark与Hadoop的区别?
314 8
|
分布式计算 资源调度 Hadoop
Hadoop 1 与 Hadoop 2 的区别详解
【8月更文挑战第31天】
532 0
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
154 0
安装hadoop学习笔记
|
分布式计算 Hadoop 关系型数据库
Hadoop学习笔记(HDP)-Part.10 创建集群
本文为HDP集群部署系列第十篇,详细介绍通过Ambari创建集群的完整流程,包括版本选择、节点配置、服务安装及ZooKeeper核心参数解析,涵盖常用命令与典型问题处理,助力高效搭建稳定大数据环境。
571 0
|
分布式计算 Hadoop 网络安全
Hadoop学习笔记(HDP)-Part.04 基础环境配置
本文为HDP集群部署系列教程,涵盖从环境准备到组件安装的完整流程。包括SSH免密登录、Ansible自动化配置、主机名与hosts设置、基础软件安装、防火墙与SELinux关闭、NTP时钟同步及磁盘分区挂载等关键步骤,为后续Ambari与大数据组件部署打下坚实基础。
287 0
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
本系列为HDP大数据平台部署实战指南,涵盖HDFS、YARN、Hive等核心组件安装配置,详解Ambari集群搭建、Kerberos安全认证及高可用实现,助力快速构建企业级大数据环境。
885 0
|
分布式计算 Java Hadoop
Hadoop学习笔记(HDP)-Part.11 安装Kerberos
本文详细介绍HDP集群中Kerberos的安装与配置,涵盖服务端客户端部署、关键配置文件修改、数据库创建、Ambari集成及常用管理命令,助力构建安全认证的大数据环境。
737 0
|
存储 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.09 安装OpenLDAP
本系列教程涵盖HDP大数据平台部署全流程,从环境准备、组件安装到高可用配置。第九部分重点介绍OpenLDAP的安装与配置,包括服务端/客户端部署、主从同步、Keepalived+HAProxy高可用架构搭建,以及通过phpldapadmin实现Web管理,为集群提供统一用户认证服务。
527 0

相关实验场景

更多