2、配置SSH免登陆
ssh-keygen -t rsa
出现让输入就直接回车就行
将秘钥拷贝到本机
ssh-copy-id -i root@localhost
需要输入【yes】与【root密码】
ssh验证:
ssh 'root@localhost'
3、Hadoop安装
伪分布式与分布式模式的区别是:【NameNode】和【DataNode】分别运行在不同的计价器上,【NameNode】负责管理所有的【DataNode】。
配置步骤:
1、上传Hadoop并解压配置【/etc/profile.d/hadoop-eco.sh】文件
2、修改2个【sh】文件,4个【xml】文件
3、通过【hdfs】启动,通过【start-dfs.sh】【start-yarn.sh】启动6个服务。(jps)查询
NameNode
SecondaryNameNode
NodeManager
DataNode
ResourceManager
Jps
4、demo测试
上传【Hadoop】的压缩包到opt下,并解压
tar -zxvf hadoop-2.7.3.tar.gz
为了操作方便,更换名称:
mv hadoop-2.7.3 hadoop
继续编辑【vi /etc/profile.d/hadoop-eco.sh】文件:
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行脚本:
source /etc/profile.d/hadoop-eco.sh
手动创建工作目录:
mkdir -p /opt/hadoop-record/name mkdir -p /opt/hadoop-record/secondary mkdir -p /opt/hadoop-record/data mkdir -p /opt/hadoop-record/tmp ls ls /opt/hadoop-record/
编写配置六个文件:
1、修改【hadoop/etc/hadoop/hadoop-env.sh 】(JAVA_HOME)
vi hadoop/etc/hadoop/hadoop-env.sh
2、修改【yarn-env.sh】文件
vi hadoop/etc/hadoop/yarn-env.sh
3、 修改【core-site.xml】文件,在【configuration】节点下添加以下子节点信息
vi hadoop/etc/hadoop/core-site.xml
添加以下内容,复制的时候注意,先输入【i】再粘贴
<!-- 指定HDFS的通讯地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储位置 --> <property> <name>hadoop.tmp.dir</name> <value>file:///opt/hadoop-record/tmp</value> </property>
4、配置【hadoop/etc/hadoop/hdfs-site.xml】文件
vi hadoop/etc/hadoop/hdfs-site.xml
在【configuration】节点下添加以下内容:
<!-- 数据备份数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///opt/hadoop-record/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///opt/hadoop-record/data</value> </property>
5、配置【hadoop/etc/hadoop/mapred-site.xml.template】文件
由于需要的是xml文件,不是template文件,故而需要修改名称。
mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml
修改成功
编写:
vi hadoop/etc/hadoop/mapred-site.xml
输入以下内容:
1. <!-- mapreduce运行的平台,默认Local --> 2. <property> 3. <name>mapreduce.framework.name</name> 4. <value>yarn</value> 5. </property>