hadoop安装过程命令汇总(中)

简介: hadoop安装过程命令汇总(中)

配置hadoop的环境变量


vi   /etc/profile
     export   HADOOP_HOME=/usr/Hadoop
     export   PATH=$PATH:$HADOOP_HOME/bin


source   /etc/profile          使配置生效



配置hadoop



1.配置hadoop-env.sh

文件位于“/usr/Hadoop/conf”

vi    /usr/Hadoop/conf/Hadoop-env.sh
        export   JAVA_HOME=/usr/java/jdk1.6.0_31



2.配置core-site.xml文件

mkdir   /usr/Hadoop/tmp      创建文件夹tmp,用来保存hadoop临时数据
vi   /usr/Hadoop/conf/core-site.xml
     <configuration>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/hadoop/tmp</value>
        (备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹,默认采用系统的临时目录:/tmp/Hadoop-hadoop。而这个目录每次重启都会被干掉,必须重新执行format才行,否则会出错。)
       <description>A base for other temporary directories.</description>
   </property>
<!-- file systemproperties ,配置NameNode的访问地址-->
   <property>
       <name>fs.default.name</name>
        <value>hdfs://192.168.1.2:9000</value>
   </property>
</configuration>


3.配置hdfs-site.xml文件


  修改hadoop中的hdfs的配置,配置的备份方式默认是3

<configuration>
   <property>
       <name>dfs.replication</name>
        <value>1</value>
        (备注:replication 是数据副本数量,默认为3,salve少于3台就会报错)
   </property>
<configuration>



4.配置mapred-site.xml文件


    修改hadoop中mapreduce的配置文件,配置的jobTracker的地址和端口

<configuration>
   <property>
       <name>mapred.job.tracker</name>
        <value>http://192.168.1.2:9001</value>
   </property>
</configuration>




5.配置masters文件


  修改/usr/Hadoop/conf/masters文件,指定master机器的主机名

vi   /usr/Hadoop/conf/masters
        192.168.1.2(或者是master)




6.配置slaves文件

vi  /usr/Hadoop/conf/slaves
       slave1
       slave2


注意:单机启动的时候,conf/slaves中一定不能为空。没有其他机器,就指定自己。


集群环境下,slave机器上可以不配置slaves



7.在集群中的其他机器上重复此配置


    建议在普通用户hadoop下通过scp复制到其他机器的对应目录下。


    其中第6步是master机器上特有的


使用shell脚本:

for  i  in  $(seq1  100);
   do  echo   slave$i;
   scp  /usr/hadoop   Hadoop@slave$i: /usr;
   scp /etc/profile  Hadoop@slave$i:/etc; 
    done



   复制文件后可能会发现hadoop目录是root权限


   chown  -R   hadoop:Hadoop   Hadoop       授权给hadoop用户

目录
相关文章
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
72 0
|
4月前
|
存储 分布式计算 资源调度
❤️hadoop常用命令总结及百万调优❤️
❤️hadoop常用命令总结及百万调优❤️
50 0
|
12天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
26 5
|
15天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
16 0
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
73 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
3月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
421 0
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
45 0
|
4月前
|
分布式计算 Hadoop Java
hadoop系列——linux hadoop安装
hadoop系列——linux hadoop安装
76 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
87 0
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.20 安装Flume
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
54 0
Hadoop学习笔记(HDP)-Part.20 安装Flume