Hadoop简介

简介: Hadoop简介Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。

Hadoop简介

Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。

hadoop2.9.0暂时是个不成熟的版本,建议使用先前的稳定版本hadoop2.8.0


hadoop安装部署的三种模式:

(1)Local (Standalone) Mode 本地模式(又称单机模式):hadoop的默认配置模式

  1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。

  2)不会启动任何hadoop守护进程,map任务和reduce任务作为同一个进程的不同部分来执行。

  3)仅用于开发或调试MapReduce应用程序。

  4)当首次解压hadoop的源码包时,默认选择了最低的配置。这时,三个xml文件均为空,当配置文件为空时,hadoop会完全运行在本地。


(2)Pseudo-Distributed Mode 伪分布式模式

  1)所有的进程都运行在同一台机器上。

  2)使用分布式文件系统,每个hadoop守护进程都是一个独立的进程。

  3)每个job都是由JobTracker服务管理的独立的进程。

  4)集群中只有一个节点,故HDFS的块复制将限制为单个副本。

  5)secondary-master和slaves也都将运行于本地主机。

  6)程序的执行逻辑和分布式模式下的执行逻辑一样,因此,常用于测试。

  7)该模式在本地模式的基础上添加了代码的调试功能,允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。

  8)伪分布式模式也需要配置SSH无密码本机连接本机


(3)Fully-Distributed Mode 完全分布式模式

多个节点组成的hadoop集群,NameNode和DataNode节点分开.



目录
相关文章
|
6月前
|
存储 SQL 分布式计算
Hadoop概述
Hadoop概述
|
6月前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop 概述
【4月更文挑战第8天】【Hadoop】Hadoop 概述
|
6月前
|
存储 分布式计算 监控
如何使用hadoop
如何使用hadoop开发分布式程序。充分利用集群的威力进行高速运算和存储。【2月更文挑战第12天】
46 3
|
存储 分布式计算 监控
Hadoop简介、安装
hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高可用服务是基于计算机集群的,并且每一台计算机有可能出错。 #### hadoop应用:
220 0
|
存储 分布式计算 资源调度
第1章 Hadoop 入门
第1章 Hadoop 入门
350 0
|
存储 SQL 分布式计算
hadoop概述
1.1 为什么会有大数据处理 1.2 什么是hadoop?
167 0
hadoop概述
|
存储 SQL 分布式计算
Hadoop 概述
Hadoop 概述
162 0
Hadoop 概述
|
存储 分布式计算 Java
Hadoop简单入门视频总结
hadoop简单介绍和简单实践视频教程 慕课网: https://www.imooc.com/video/7642 预备知识: liunx基本操作 java开发基础知识 google的大数据技术:MapReduce,BigTables,GFS 革命性变化: 成本降低,能用pc机就不用大型机和高端存储。
1150 0
|
分布式计算 Hadoop 存储
|
存储 机器学习/深度学习 分布式计算

相关实验场景

更多