开发者社区> 星繁> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

hadoop安装过程命令汇总(中)

简介: hadoop安装过程命令汇总(中)
+关注继续查看

配置hadoop的环境变量


vi   /etc/profile
     export   HADOOP_HOME=/usr/Hadoop
     export   PATH=$PATH:$HADOOP_HOME/bin


source   /etc/profile          使配置生效



配置hadoop



1.配置hadoop-env.sh

文件位于“/usr/Hadoop/conf”

vi    /usr/Hadoop/conf/Hadoop-env.sh
        export   JAVA_HOME=/usr/java/jdk1.6.0_31



2.配置core-site.xml文件

mkdir   /usr/Hadoop/tmp      创建文件夹tmp,用来保存hadoop临时数据
vi   /usr/Hadoop/conf/core-site.xml
     <configuration>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/hadoop/tmp</value>
        (备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹,默认采用系统的临时目录:/tmp/Hadoop-hadoop。而这个目录每次重启都会被干掉,必须重新执行format才行,否则会出错。)
       <description>A base for other temporary directories.</description>
   </property>
<!-- file systemproperties ,配置NameNode的访问地址-->
   <property>
       <name>fs.default.name</name>
        <value>hdfs://192.168.1.2:9000</value>
   </property>
</configuration>


3.配置hdfs-site.xml文件


  修改hadoop中的hdfs的配置,配置的备份方式默认是3

<configuration>
   <property>
       <name>dfs.replication</name>
        <value>1</value>
        (备注:replication 是数据副本数量,默认为3,salve少于3台就会报错)
   </property>
<configuration>



4.配置mapred-site.xml文件


    修改hadoop中mapreduce的配置文件,配置的jobTracker的地址和端口

<configuration>
   <property>
       <name>mapred.job.tracker</name>
        <value>http://192.168.1.2:9001</value>
   </property>
</configuration>




5.配置masters文件


  修改/usr/Hadoop/conf/masters文件,指定master机器的主机名

vi   /usr/Hadoop/conf/masters
        192.168.1.2(或者是master)




6.配置slaves文件

vi  /usr/Hadoop/conf/slaves
       slave1
       slave2


注意:单机启动的时候,conf/slaves中一定不能为空。没有其他机器,就指定自己。


集群环境下,slave机器上可以不配置slaves



7.在集群中的其他机器上重复此配置


    建议在普通用户hadoop下通过scp复制到其他机器的对应目录下。


    其中第6步是master机器上特有的


使用shell脚本:

for  i  in  $(seq1  100);
   do  echo   slave$i;
   scp  /usr/hadoop   Hadoop@slave$i: /usr;
   scp /etc/profile  Hadoop@slave$i:/etc; 
    done



   复制文件后可能会发现hadoop目录是root权限


   chown  -R   hadoop:Hadoop   Hadoop       授权给hadoop用户

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
hadoop安装过程命令汇总(下)
hadoop安装过程命令汇总(下)
0 0
hadoop安装过程命令汇总(上)
hadoop安装过程命令汇总(上)
0 0
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManag
4201 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下
0 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中
0 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 上
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 上
0 0
关于Hadoop集群物理及虚拟内存的检测的设置说明
关于Hadoop集群物理及虚拟内存的检测的设置说明
0 0
【Hadoop】如何做到Hadoop集群删库不跑路……
【Hadoop】如何做到Hadoop集群删库不跑路……
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Why is my Hadoop* job slow
立即下载
Hadoop存储与计算分离实践
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载