Hadoop在Windows下的安装配置

简介:

    由于本人近期近期一段时间 都在学习Hadoop,接触了比較多的理论,可是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先。可是比較坑爹的是。Hadoop是要求安装在Linux环境下的。在Windows下是不能直接执行的。

所以仅仅能在Windows下搞个Cygwin,然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好,曾经用过这个模拟过Linux环境,后来发现总是会出现各种环境上的问题。很耗时间。所以我推測,如今我又在上面搭建一个Hadoop平台,也肯定不是一件简单的事件。后来的事实证明,我的确遭遇到了许多的问题。

        首先第一个遇到的问题,就是配置文件上的差别。之前我在网上下载的Hadoop安装版本号文件时Hadoop2.0然后。我的安装教程将的是1.0的。里面的配置文件对应的配置文件都没找到。比方,在Hadoop2.0中是没有mapred-site.xml。取而代之的是mapred-site.xml.template文件,所在的文件夹页不是叫做conf文件夹。所以,第一点,搭建Hadoop平台,要对准对应的平台进行安装。

      2.在配置core-site,hdfs-site,mapreduce-site文件之前,要先安装SSH 服务,由于Hadoop的通信会要求进行SSH认证的,还会生出密钥文件,有了密钥文件。就能够实现以后的免password登录,这个步骤是必须的,假设不运行这个前期操作,运行的后面的命令会报错的。

      3.Cygwin下的JDK安装和路径配置,由于Hadoop平台是要求Java环境的,须要在Cygwin环境下也安装JDK。可是我们的JDK是安装在Windows磁盘下的啊,这该怎么处理呢,第一之间把地址定位到你安装的地址上去,通过cgwdrive+你的实际安装位置,或者你直接找到原先的安装文件夹,直接复制到Cygwin的文件夹下,再进行path的设置。

JDK的设置非常重要,兴许的命令非常多都是基于此的。

     4.最后一个就是3大配置文件的配置操作了,假设你不打算配置,那就是默认的单机模式了。配置的操作就是相当于有了DataNode, NameNode, HDFS等等。可是都是在本机上进行的。一个伪分布式模式,这个非常easy,就是定义了port号,和一些描写叙述信息。

     5.最后在执行整个服务之前,要先对HDFS进行格式化操作,hadoop hdfs-format,在最后面的就是start-all.sh,在不同版本号的Hadoop中。start-all.sh在不同的文件夹中,1.2版的是在bin文件夹下,2.0版的是在sbin下。cd到哪个文件夹下执行操作须要注意。

     上述操作就是我在搭建平台的过程中所遇到的问题,上述是我自觉得是比較easy犯的错误,里面其它的问题网上搜的都是一堆的教程,大同小异。






本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5166725.html,如需转载请自行联系原作者

相关文章
|
15天前
|
存储 负载均衡 Java
如何配置Windows主机MPIO多路径访问存储系统
Windows主机多路径(MPIO)是一种技术,用于在客户端计算机上配置多个路径到存储设备,以提高数据访问的可靠性和性能。本文以Windows2012 R2版本为例介绍如何在客户端主机和存储系统配置多路径访问。
59 13
如何配置Windows主机MPIO多路径访问存储系统
|
4天前
|
监控 安全 网络安全
Windows Server管理:配置与管理技巧
Windows Server管理:配置与管理技巧
20 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
60 3
|
1月前
|
弹性计算 关系型数据库 数据安全/隐私保护
阿里云国际版如何配置Windows服务器的虚拟内存
阿里云国际版如何配置Windows服务器的虚拟内存
|
3月前
|
Java 应用服务中间件 开发工具
[App Service for Windows]通过 KUDU 查看 Tomcat 配置信息
[App Service for Windows]通过 KUDU 查看 Tomcat 配置信息
|
3月前
|
Java 应用服务中间件 Windows
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
|
3月前
|
安全 机器人 程序员
Windows 计划任务每天隔 3 小时运行一次批处理文件详细配置步骤
Windows 计划任务每天隔 3 小时运行一次批处理文件详细配置步骤
407 2
|
3月前
|
网络安全 Windows
在Windows电脑上启动并配置SSH服务
在Windows电脑上启动并配置SSH服务
671 0
|
3月前
|
Ubuntu Linux 数据安全/隐私保护
在 Windows 中配置 WSL2 与 Debian 的全流程
【8月更文挑战第27天】本文详细介绍了在Windows环境中配置WSL2与Debian的全过程,包括确认Windows版本、启用相关功能、安装WSL并设置版本为WSL2、下载安装Debian、配置国内镜像源,以及设置Xserver实现GUI功能。通过这些步骤,用户能够顺利完成配置,并进行基本优化。
410 0
|
3月前
【Azure 应用服务】App Service 配置 Application Settings 访问Storage Account得到 could not be resolved: '*.file.core.windows.net'的报错。没有解析成对应中国区 Storage Account地址 *.file.core.chinacloudapi.cn
【Azure 应用服务】App Service 配置 Application Settings 访问Storage Account得到 could not be resolved: '*.file.core.windows.net'的报错。没有解析成对应中国区 Storage Account地址 *.file.core.chinacloudapi.cn