单节点物理结构
搭建伪分布式，master和slave上的组件均安装在同一台服务器上.
这些组件后续再学习再写下来。
一：linux的基本使用命令 centos7 修改hostname hostnamectl set-hostname hadoop100(centos7下执行此命令无需重启即可生效) [root@localhost ~]# [root@localhost ~]# hostname hadoop100 二：集群安装步骤 2.1vagrant file中加入这行 config.vm.network "private_network", ip: "192.168.56.10" 2.2 安装jdk tar -zxvf jdk-8u181-linux-x64.tar.gz 修改目录名称 mv jdk1.8.0_181/ jdk1.8 修改环境变量 vi /etc/profile export JAVA_HOME=/opt/soft/jdk1.8 export PATH=.:$JAVA_HOME/bin:$PATH source /etc/profile 验证jdk是否安装成功 java -version 查看JAVA_HOME变量的值 echo $JAVA_HOME 2.3 设置hostname 查看当前的主机名：hostname 第一步：临时设置，立刻生效 hostname node1 第二部：永久设置，下一次重启的时候生效 (redHat下如此操作) vi /etc/sysconfig/network HOSTNAME=node1 centos7下设置hostname直接使用 hostnamectl set-hostname hadoop100(centos7下执行此命令无需重启即可生效) 2.4 hosts配置 vi /etc/hosts 192.168.56.10 node1 验证：ping node1 2.5 iptables 防火墙 查看防火墙状态：service iptables status 关闭防火墙：service iptables stop 2.6 把防火墙从开机启动项里面移除掉 查看iptables是否是开机运行的：chkconfig --list | grep iptables 关闭iptables的开机启动项：chkconfig iptables off 2.7 执行ssh命令 确认有日志输出即可。 2.8 免密码登录：需要实现主节点能够通过ssh免密登录到所有从节点 配置本机免密码登录 ssh-keygen -t rsa //在root用户使用ssh工具生成秘钥（也可以使用普通用户） cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //复制一份公钥 验证 ssh node1 2.9 hadoop伪分布集群安装步骤 1：解压 tar -zxvf hadoop-2.7.5.tar.gz 2：修改配置文件 cd hadoop-2.7.5 cd etc/hadoop 3：修改相关的配置文件，根据PPT上面的内容 vi hadoop-env.sh export JAVA_HOME=/opt/soft/jdk1.8 export JAVA_HOME=/opt/java/jdk8u282-b08 export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop vi yarn-env.sh export JAVA_HOME=/opt/soft/jdk1.8 export JAVA_HOME=/opt/java/jdk8u282-b08 export YARN_LOG_DIR=/data/hadoop_repo/logs/yarn vi core-site.xml[注意需要修改主机名，和机器的主机名保持一致即可] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop_repo</value> </property> </configuration> vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> vi yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> vi slaves localhost 4：对hdfs进行格式化【注意，只能格式化一次】 cd hadoop-2.7.5 bin/hdfs namenode -format 5：启动 sbin/start-all.sh 6：验证 jps 或者 http://node1:50070 http://node1:8088 7: 停止 sbin/stop-all.sh 8：配置环境变量 vi /etc/profile export HADOOP_HOME=/opt/soft/hadoop-2.7.5 export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
