集群搭建:五个任务。

简介: 任务1:安装JDK(1)准备软件

任务1:安装JDK

(1)准备软件

JDK的安装包已经为大家准备好了,在/root/software目录下,可以使用一下命令进行查看:
      cd /root/software/
      ll(两个英文字母l,不是1)

(2)解压压缩包

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /root/software(-C后面是解压到那个地方)

(3)再次处我们配置系统环境变量,使用命令:

vim /etc/profile

(4)在最后加入一下两行内容:

export JAVA_HOME=/root/software/jdk1.8.0_221
export PATH=$PATN:$JAVA_HOME/bin(一定要注意PATH值的修改,一定要在引用源PATH值,否则Linux的很多操作命令就不能使用了。)
**注意**
   a.export是把这两个变量导出为全局变量。
   b.大小写必须严格区分。

(5)让配置文件立即生效,使用如下命令:

source /etc/profile

(6)检测JDK是否安装成功,使用命令查看JDK版本:

java -version(执行此命令后,若是出现JDK版本信息说明配置成功:http://assets.qingjiaoclass.com/image/20200206/MVBuOmieXR1580964150.png)

任务二:免密登录

(1)下载SSH服务并开启

SSH服务已经为大家下载好,所以此处直接启动即可:/usr/sbin/sshd
    SSH服务启动成功后,默认开启22(SSH的默认端口)端口号,使用一下命令进行查看:netstat -tnulp
    执行命令,可以看到22号端口已经开启,证明我们SSH服务启动成功:只要将SSH服务启动成功,我们就可以进行远程连接访问了

(2)首先生成密钥对,使用命令:ssh-keygen或者ssh-keygen -t rsa上面是一种简写形式,提示要输入信息时不需要输入任何东西,直接回车三次即可。从打印的信息中可以看出,私钥id_rsa和公钥id_rsa.pub都已创建成功,并放在/root/.ssh(隐藏文件夹(以.开头))目录中: http://assets.qingjiaoclass.com/image/20200206/syZWHwJdUi1580966097.png

(3)将公钥放置在授权列表文件authorized_keys中,使用命令

cp id_rsa.pub authorized_keys
    注意:一定要将授权列表文件authorized_keys写对,不能改名

(4)修改授权列表文件authorized_keys的权限,使用命令:chmod 600 authorized_keys

设置拥有者可读可写,其他人无任何权限(不可读,不可写,不可执行)

(5)验证免密登录是否配置成功,使用如下命令:ssh localhost或ssh e2d670ea9ad7或ssh 10.141.0.42

localhost:意味“本地主机”,指“这台计算机”
e2d670ea9ad7:本机主机名,可以使用hostname命令进行查看
   10.141.0.42:本机IP地址,可以使用ifconfig命令进行查看

(6)远程登录成功后,若想退出,可以使用exit命令。

任务三:安装Hadoop

(1)进入到/root/software目录,解压Hadoop;

cd /root/software
    tar -zxvf hadoop-2.7.7.tar.gz -C /root/software

(2)配置Hadoop系统变量

a.首先打开/etc/profile文件(系统环境变量:对所有用户有效):
       vim /etc/profile
   b.在文件底部添加如下内容:
export HADOOP_HOME=/root/software/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   c.生成环境变量:
source /etc/profile

任务四:配置HDFS

(1)配置环境变量hadoop-env.sh,打开hadoop-env.sh:

vim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
  找到JAVA_HOME参数位置,修改为本机安装的JDK的实际位置:http://assets.qingjiaoclass.com/image/20200206/hfI4omepgL1580986028.png
  在命令模式下输入:set nu可以为vi设置行号。

(2)配置核心组件core-site.xml

该文件是Hadoop的核心配置文件,其目的是配置HDFS地址,端口号,以及临时文件目录。使用如下命令打开“core-site.xml”文件:
    vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml
   将下面的配置内容添加到<configuration></sonfiguration>中间

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/root/hadoopData/temp


(3)配置文件系统hdfs-site.xml

该文件主要用于配置HDFS相关属性,例如复制因子(即数据块的副本数),NameNode和DataNode用于存储数据的目录等。在完全分布式模式下,默认数据块副本是3份。使用如下命令打开“hdfs-site.xml”文件:
   vim /root/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
   将下面的配置内容添加到<configuration></sonfiguration>中间

dfs.namenode.name.dir

/root/hadoopData/name

dfs.datanode.data.dir

/root/hadoopData/data

dfs.replication

1


(4)配置slaves文件(无需修改 )

该文件用于记录Hadoop集群所有从节点(HDFS的DataNode和YARN的NodeManager所在主机)的主机名,用来配合一键启动脚本启动集群从节点(并且还需要保证关联节点配置SSH免密登录)。
  打开该配置文件:vim /root/software/hadoop-2.7.7/etc/hadoop/slaves

我们可以看到其默认内容为localhost,因为我们搭建的是伪分布式集群,就只有一台主机,所以从节点呀需要放在此主机上,所以此配置文件无需修改

(5)格式化文件系统

hdfs namenode -format

(6)脚本一键启动hdfs

启动集群最常用的方式是使用脚本一键启动,前提是需要配置slaves配置文件和SSH免密登录。
     在本机上使用如下方式一键启动HDFS集群:start-dfs.sh
  在本机上执行jps命令,在打印结果中会看到4个进程,分别是NameNode,SecondaryNameNode,J
目录
相关文章
|
9月前
|
Kubernetes Linux 开发者
聊聊 K8S:K8S集群搭建实战
聊聊 K8S:K8S集群搭建实战
443 2
|
1月前
|
Java
搭建Zookeeper集群的搭建
搭建Zookeeper集群的搭建
46 1
|
8月前
|
Linux
ZooKeeper集群环境搭建
ZooKeeper集群环境搭建
73 0
|
10月前
|
Java Linux 开发工具
zookeeper集群环境搭建及使用
zookeeper集群环境搭建及使用
102 0
|
10月前
|
消息中间件 Kafka Apache
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
Kafka3.0集群部署(内附zookeeper3.5.7集群部署)
137 0
|
存储 负载均衡 NoSQL
分布式部署:第一章:zookeeper集群和solrcloud及redisCluster集群搭建
分布式部署:第一章:zookeeper集群和solrcloud及redisCluster集群搭建
218 0
|
存储 分布式计算 前端开发
Zookper集群搭建
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕
176 0
Zookper集群搭建
|
Kubernetes Ubuntu Docker
k8s集群搭建
k8s集群搭建
279 0
|
存储 Java Linux
Zookeeper分布式集群搭建(六)
Zookeeper分布式集群搭建(六)
94 0
Zookeeper分布式集群搭建(六)
|
消息中间件 Dubbo Java
Zookeeper 集群搭建|学习笔记
快速学习 Zookeeper 集群搭建
147 0
Zookeeper 集群搭建|学习笔记