Hadoop在Windows下的安装配置

简介:

    由于本人近期近期一段时间 都在学习Hadoop,接触了比較多的理论,可是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先。可是比較坑爹的是。Hadoop是要求安装在Linux环境下的。在Windows下是不能直接执行的。

所以仅仅能在Windows下搞个Cygwin,然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好,曾经用过这个模拟过Linux环境,后来发现总是会出现各种环境上的问题。很耗时间。所以我推測,如今我又在上面搭建一个Hadoop平台,也肯定不是一件简单的事件。后来的事实证明,我的确遭遇到了许多的问题。

        首先第一个遇到的问题,就是配置文件上的差别。之前我在网上下载的Hadoop安装版本号文件时Hadoop2.0然后。我的安装教程将的是1.0的。里面的配置文件对应的配置文件都没找到。比方,在Hadoop2.0中是没有mapred-site.xml。取而代之的是mapred-site.xml.template文件,所在的文件夹页不是叫做conf文件夹。所以,第一点,搭建Hadoop平台,要对准对应的平台进行安装。

      2.在配置core-site,hdfs-site,mapreduce-site文件之前,要先安装SSH 服务,由于Hadoop的通信会要求进行SSH认证的,还会生出密钥文件,有了密钥文件。就能够实现以后的免password登录,这个步骤是必须的,假设不运行这个前期操作,运行的后面的命令会报错的。

      3.Cygwin下的JDK安装和路径配置,由于Hadoop平台是要求Java环境的,须要在Cygwin环境下也安装JDK。可是我们的JDK是安装在Windows磁盘下的啊,这该怎么处理呢,第一之间把地址定位到你安装的地址上去,通过cgwdrive+你的实际安装位置,或者你直接找到原先的安装文件夹,直接复制到Cygwin的文件夹下,再进行path的设置。

JDK的设置非常重要,兴许的命令非常多都是基于此的。

     4.最后一个就是3大配置文件的配置操作了,假设你不打算配置,那就是默认的单机模式了。配置的操作就是相当于有了DataNode, NameNode, HDFS等等。可是都是在本机上进行的。一个伪分布式模式,这个非常easy,就是定义了port号,和一些描写叙述信息。

     5.最后在执行整个服务之前,要先对HDFS进行格式化操作,hadoop hdfs-format,在最后面的就是start-all.sh,在不同版本号的Hadoop中。start-all.sh在不同的文件夹中,1.2版的是在bin文件夹下,2.0版的是在sbin下。cd到哪个文件夹下执行操作须要注意。

     上述操作就是我在搭建平台的过程中所遇到的问题,上述是我自觉得是比較easy犯的错误,里面其它的问题网上搜的都是一堆的教程,大同小异。






本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5166725.html,如需转载请自行联系原作者

相关文章
|
2月前
|
Windows
Windows无法连接到打印机,请检查打印机名并重试 - 配置Windows 共享打印机出错;
WIN7共享打印机无法被WIN11连接,出现错误代码0x0000011b或0x00000709,可能是系统版本不兼容所致。本文提供多个轻量级修复工具,无需安装,双击即用,专为解决此类小问题设计,操作简单,适合普通用户快速修复打印机连接异常。
445 0
|
3月前
|
网络安全 Windows
Windows IIS 10如何配置自签名SSL并实现自动跳转
本文记录了IIS配置自签名证书及HTTPS跳转的注意事项。包括解决443端口占用问题、URL Rewrite插件安装与配置、web.config修改方法,以及避免因旧教程导致的配置错误。
Windows IIS 10如何配置自签名SSL并实现自动跳转
|
3月前
|
C语言 图形学 Windows
Windows下安装和配置GTK4(基于CLion)
本文介绍了作者选择GTK作为C语言图形库的原因,包括代码简洁、控件丰富和界面美观,并分享了在Windows环境下通过MSYS2安装GTK4及在CLion中配置开发环境的详细步骤。
372 0
|
3月前
|
Windows
Windows下版本控制器(SVN)-验证是否安装成功+配置版本库+启动服务器端程序
Windows下版本控制器(SVN)-验证是否安装成功+配置版本库+启动服务器端程序
119 2
|
6月前
|
安全 Windows
“由于启动计算机时出现了页面文件配置问题,Windows在你的计算机上创建了一个临时页面文件。。。”的问题解决
本文主要介绍了因清理电脑垃圾文件时误删虚拟内存导致的Windows页面文件配置问题,并提供了详细的解决步骤。问题表现为开机后出现临时页面文件创建的提示弹窗。解决方法包括通过控制面板或快捷键进入高级系统设置,进而调整虚拟内存设置:进入性能选项中的虚拟内存栏,选择自动管理所有驱动器的分页文件大小,最后确认并重启计算机以恢复正常运行。
3886 5
“由于启动计算机时出现了页面文件配置问题,Windows在你的计算机上创建了一个临时页面文件。。。”的问题解决
|
Windows
Windows下版本控制器(SVN)- 配置版本库
Windows下版本控制器(SVN)- 配置版本库
28 0
|
4月前
|
安全 Shell 开发工具
Windows下使用git配置gitee远程仓库
就在前几天因为一些原因,我的电脑重装了系统,然后再重新配置git的环境的时候就遇到了一些小问题。所以我决定自己写一篇文章,以便以后再配置git时,避免一些错误操作,而导致全网搜方法,找对的文章去找对应的解决方法。下面为了演示方便就拿gitee来演示,不拿GitHub了写文章了。
212 0
|
7月前
|
数据库连接 测试技术 Windows
【YashanDB知识库】windows配置ODBC跟踪日志, 使用日志定位问题
【YashanDB知识库】windows配置ODBC跟踪日志, 使用日志定位问题
|
7月前
|
Windows
Windows系统云服务器配置多用户登录
本教程介绍了在Windows云服务器上配置远程桌面服务的详细步骤,包括安装桌面会话主机和远程桌面授权、允许多用户远程连接以及配置新用户并加入远程桌面用户组。通过添加角色和功能、设置组策略以及管理用户权限,实现多用户同时登录和远程访问。按照指引操作,可顺利完成服务器的远程访问配置,提升管理和使用效率。
706 0

相关实验场景

更多