《深入理解大数据:大数据处理与编程实践》一一2.1 Hadoop系统安装方法简介-阿里云开发者社区

开发者社区> 华章计算机> 正文

《深入理解大数据:大数据处理与编程实践》一一2.1 Hadoop系统安装方法简介

简介:
+关注继续查看

本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第2章,第2.1节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.1 Hadoop系统安装方法简介

Hadoop可以用三种不同的方式进行安装。第一种方式是单机方式,它允许在一台运行Linux或Windows下虚拟Linux的单机上安装运行Hadoop系统。该方式通常适用于程序员先在本地编写和调试程序。第二种方式是单机伪分布方式,它允许在一台运行Linux或Windows下虚拟Linux的单机上,用伪分布方式,以不同的Java进程模拟分布运行环境中的NameNode、DataNode、JobTracker、TaskTracker等各类节点。第三种方式是集群分布模式,它是在一个真实的集群环境下安装运行Hadoop系统,集群的每个节点可以运行Linux或Windows下的虚拟Linux。单机和单机伪分布模式下编写调试完成的程序通常不需修改即可在真实的分布式Hadoop集群下运行,但通常需要修改配置。
在Windows下安装运行Hadoop,首先需要安装Cygwin来模拟Linux环境。通常,如果用户需要在自己的Windows环境单机上安装运行Hadoop时可以这样做;但如果是真实的集群环境建议不要用这种方式,因为Windows环境下模拟虚拟Linux环境运行Hadoop会比较复杂,而且运行效率将大为下降。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
hive Illegal Operation state transition from CLOSED to ERROR的处理
异常堆栈如下: 2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.
1664 0
Apache Flink 零基础入门(五):流处理核心组件 Time&Window 深度解析
为什么要有 Window; Window 中的三个核心组件:WindowAssigner、Trigger 和 Evictor;Window 中怎么处理乱序数据,乱序数据是否允许延迟,以及怎么处理迟到的数据;最后我们梳理了整个 Window 的数据流程,以及 Window 中怎么保证 Exactly .
858 0
Apache Flink 零基础入门(五):流处理核心组件 Time&Window 深度解析
为什么要有 Window; Window 中的三个核心组件:WindowAssigner、Trigger 和 Evictor;Window 中怎么处理乱序数据,乱序数据是否允许延迟,以及怎么处理迟到的数据;最后我们梳理了整个 Window 的数据流程,以及 Window 中怎么保证 Exactly
3307 0
WRF主程序与WPS的编译与安装
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/78228678 最近重新把WRF学习提上事宜,所以开始重新鼓捣WRF。
3256 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(2)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(2)     7.3 数据访问层工厂HomeShop.DALFactory      1 using System; 2 using System.
888 0
SAS进阶《深入解析SAS》之对多数据集的处理
SAS进阶《深入解析SAS》之对多数据集的处理 1. 数据集的纵向串接: 数据集的纵向串接指的是,将两个或者多个数据集首尾相连,形成一个新的数据集。 据集的横向合并: 数据集的横向合并,指的是将两个或者多个数据集根据某种原则横向合并起来,形成新的数据集。 2. 数据集的纵向串接两种方法:1)使用SAS DATA步的SET语句。2)使用SAS过程步的APPEND过程。
1264 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(3)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(3)   7.5 SQL数据访问层HomeShop.DALOfSql   OrderDAO.cs View Code using System;using System.
669 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载