Hadoop简介

简介:

Hadoop简介

Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。

hadoop2.9.0暂时是个不成熟的版本,建议使用先前的稳定版本hadoop2.8.0


hadoop安装部署的三种模式:

(1)Local (Standalone) Mode 本地模式(又称单机模式):hadoop的默认配置模式

  1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。

  2)不会启动任何hadoop守护进程,map任务和reduce任务作为同一个进程的不同部分来执行。

  3)仅用于开发或调试MapReduce应用程序。

  4)当首次解压hadoop的源码包时,默认选择了最低的配置。这时,三个xml文件均为空,当配置文件为空时,hadoop会完全运行在本地。


(2)Pseudo-Distributed Mode 伪分布式模式

  1)所有的进程都运行在同一台机器上。

  2)使用分布式文件系统,每个hadoop守护进程都是一个独立的进程。

  3)每个job都是由JobTracker服务管理的独立的进程。

  4)集群中只有一个节点,故HDFS的块复制将限制为单个副本。

  5)secondary-master和slaves也都将运行于本地主机。

  6)程序的执行逻辑和分布式模式下的执行逻辑一样,因此,常用于测试。

  7)该模式在本地模式的基础上添加了代码的调试功能,允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。

  8)伪分布式模式也需要配置SSH无密码本机连接本机


(3)Fully-Distributed Mode 完全分布式模式

多个节点组成的hadoop集群,NameNode和DataNode节点分开.




本文转自 Darren_Chen 51CTO博客,原文链接:http://blog.51cto.com/darrenmemos/2055066,如需转载请自行联系原作者

相关文章
|
6月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
256 0
|
23天前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
44 3
|
23天前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
38 2
|
23天前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
39 1
|
23天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
38 0
|
6月前
|
存储 分布式计算 Hadoop
大数据存储技术(1)—— Hadoop简介及安装配置
大数据存储技术(1)—— Hadoop简介及安装配置
269 0
|
6月前
|
分布式计算 并行计算 Hadoop
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
304 0
|
SQL 机器学习/深度学习 开发框架
04 Hadoop生态圈以及各组成部分的简介
04 Hadoop生态圈以及各组成部分的简介
49 0
|
存储 SQL 分布式计算
Hadoop生态系统简介及其在大数据处理中的作用
Hadoop生态系统简介及其在大数据处理中的作用
|
分布式计算 算法 Hadoop
Hadoop简介、安装与环境变量配置
Hadoop简介、安装与环境变量配置
355 1

相关实验场景

更多