配置文件系统(只在master做)
Hadoop 的文件系统配置文件是 hdfs-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,用vi编辑该文件,需要将以下代码放在文件的和之间。
执行编辑hdfs-site.xml文件的命令:
vi /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml
需要在和之间加入的代码:
<property> <name>dfs.namenode.http-address</name> <!-- Master为当前机器名或者IP地址 --> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <!-- 以下为存放节点命名的路径 --> <value>file:/opt/hadoop/hadoop/hadoopdata/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <!-- 以下为存放数据命名的路径 --> <value>file:/opt/hadoop/hadoop/hadoopdata/dfs/data</value> </property> <property> <name>dfs.replication</name> <!-- 备份次数,因为有2台DataNode--> <value>2</value> </property> <property> <name>dfs.webhdfs.enabled</name> <!-- Web HDFS--> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>Master:50090</value> </property>
如下图所示:
编辑完成后,保存退出即可!
配置 yarn-site.xml 文件(只在master做)
yarn 的站点配置文件是 yarn-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,依然用vi编辑该文件,将以下代码放在文件的和之间。
执行编辑yarn-site.xml文件的命令:
vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml
需要在和之间加入的代码:
<property> <name>yarn.resourcemanager.hostname</name> <!-- Master为当前机器名或者ip号 --> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <!-- Node Manager辅助服务 --> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <!-- Node Manager辅助服务类 --> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <!-- CPU个数,需要根据当前计算机的CPU设置--> <value>1</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <!-- Resource Manager管理地址 --> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <!-- Resource Manager Web地址 --> <value>master:8088</value> </property>
如下图所示:
编辑完成后,保存退出即可!
配置MapReduce计算框架文件(只在master做)
在 /opt/hadoop/hadoop/etc/hadoop 子目录下,系统已经有一个 mapred-site.xml.template 文件,我们需要将其复制并改名,位置不变。
执行复制和改名操作命令:
cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml
可直接创建
然后用 vi 编辑 mapred-site.xml 文件,需要将下面的代码填充到文件的和之间。
执行命令:
vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml
需要在和之间加入的代码:
<property> <name>mapreduce.framework.name</name> <!-- MapReduce Framework --> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <!-- MapReduce JobHistory, 当前计算机的IP --> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <!-- MapReduce Web App JobHistory, 当前计算机的IP --> <value>master:19888</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value> </property>
如下图所示:
编辑完毕,保存退出即可!
配置master的slaves文件(只在master做)
workers 文件给出了Hadoop集群的 slave节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前 workers 文件中的 slave 节点名称列表启动集群,不在列表中的 slave 节点便不会被视为计算节点。
执行编辑slaves文件命令:
vi /opt/hadoop/hadoop/etc/hadoop/workers
注意:用vi编辑slaves文件,应该根据读者您自己所搭建集群的实际情况进行编辑。
例如:我这里已经安装了slave1和slave2,并且计划将它们全部投入Hadoop集群运行。
所以应当加入以下代码:
slave1 slave2
如下图所示:
注意:删除slaves文件中原来localhost那一行!
编辑完成,保存退出即可!