任务1:安装JDK
(1)准备软件
JDK的安装包已经为大家准备好了,在/root/software目录下,可以使用一下命令进行查看: cd /root/software/ ll(两个英文字母l,不是1)
(2)解压压缩包
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /root/software(-C后面是解压到那个地方)
(3)再次处我们配置系统环境变量,使用命令:
vim /etc/profile
(4)在最后加入一下两行内容:
export JAVA_HOME=/root/software/jdk1.8.0_221 export PATH=$PATN:$JAVA_HOME/bin(一定要注意PATH值的修改,一定要在引用源PATH值,否则Linux的很多操作命令就不能使用了。) **注意** a.export是把这两个变量导出为全局变量。 b.大小写必须严格区分。
(5)让配置文件立即生效,使用如下命令:
source /etc/profile
(6)检测JDK是否安装成功,使用命令查看JDK版本:
java -version(执行此命令后,若是出现JDK版本信息说明配置成功:http://assets.qingjiaoclass.com/image/20200206/MVBuOmieXR1580964150.png)
任务二:免密登录
(1)下载SSH服务并开启
SSH服务已经为大家下载好,所以此处直接启动即可:/usr/sbin/sshd SSH服务启动成功后,默认开启22(SSH的默认端口)端口号,使用一下命令进行查看:netstat -tnulp 执行命令,可以看到22号端口已经开启,证明我们SSH服务启动成功:只要将SSH服务启动成功,我们就可以进行远程连接访问了
(2)首先生成密钥对,使用命令:ssh-keygen或者ssh-keygen -t rsa上面是一种简写形式,提示要输入信息时不需要输入任何东西,直接回车三次即可。从打印的信息中可以看出,私钥id_rsa和公钥id_rsa.pub都已创建成功,并放在/root/.ssh(隐藏文件夹(以.开头))目录中: http://assets.qingjiaoclass.com/image/20200206/syZWHwJdUi1580966097.png
(3)将公钥放置在授权列表文件authorized_keys中,使用命令
cp id_rsa.pub authorized_keys 注意:一定要将授权列表文件authorized_keys写对,不能改名
(4)修改授权列表文件authorized_keys的权限,使用命令:chmod 600 authorized_keys
设置拥有者可读可写,其他人无任何权限(不可读,不可写,不可执行)
(5)验证免密登录是否配置成功,使用如下命令:ssh localhost或ssh e2d670ea9ad7或ssh 10.141.0.42
localhost:意味“本地主机”,指“这台计算机” e2d670ea9ad7:本机主机名,可以使用hostname命令进行查看 10.141.0.42:本机IP地址,可以使用ifconfig命令进行查看
(6)远程登录成功后,若想退出,可以使用exit命令。
任务三:安装Hadoop
(1)进入到/root/software目录,解压Hadoop;
cd /root/software tar -zxvf hadoop-2.7.7.tar.gz -C /root/software
(2)配置Hadoop系统变量
a.首先打开/etc/profile文件(系统环境变量:对所有用户有效): vim /etc/profile b.在文件底部添加如下内容: export HADOOP_HOME=/root/software/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin c.生成环境变量: source /etc/profile
任务四:配置HDFS
(1)配置环境变量hadoop-env.sh,打开hadoop-env.sh:
vim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env.sh 找到JAVA_HOME参数位置,修改为本机安装的JDK的实际位置:http://assets.qingjiaoclass.com/image/20200206/hfI4omepgL1580986028.png 在命令模式下输入:set nu可以为vi设置行号。
(2)配置核心组件core-site.xml
该文件是Hadoop的核心配置文件,其目的是配置HDFS地址,端口号,以及临时文件目录。使用如下命令打开“core-site.xml”文件: vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml 将下面的配置内容添加到<configuration></sonfiguration>中间
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/root/hadoopData/temp
(3)配置文件系统hdfs-site.xml
该文件主要用于配置HDFS相关属性,例如复制因子(即数据块的副本数),NameNode和DataNode用于存储数据的目录等。在完全分布式模式下,默认数据块副本是3份。使用如下命令打开“hdfs-site.xml”文件: vim /root/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml 将下面的配置内容添加到<configuration></sonfiguration>中间
dfs.namenode.name.dir
/root/hadoopData/name
dfs.datanode.data.dir
/root/hadoopData/data
dfs.replication
1
(4)配置slaves文件(无需修改 )
该文件用于记录Hadoop集群所有从节点(HDFS的DataNode和YARN的NodeManager所在主机)的主机名,用来配合一键启动脚本启动集群从节点(并且还需要保证关联节点配置SSH免密登录)。 打开该配置文件:vim /root/software/hadoop-2.7.7/etc/hadoop/slaves
我们可以看到其默认内容为localhost,因为我们搭建的是伪分布式集群,就只有一台主机,所以从节点呀需要放在此主机上,所以此配置文件无需修改
(5)格式化文件系统
hdfs namenode -format
(6)脚本一键启动hdfs
启动集群最常用的方式是使用脚本一键启动,前提是需要配置slaves配置文件和SSH免密登录。 在本机上使用如下方式一键启动HDFS集群:start-dfs.sh 在本机上执行jps命令,在打印结果中会看到4个进程,分别是NameNode,SecondaryNameNode,J