[绝对要收藏]配置hadoop完全分布式环境

简介: [绝对要收藏]配置hadoop完全分布式环境

##

环境:

hadoop-2.7.2,jdk1.8.0_144,CentOS-7-x86_64-Minimal-2009.iso

1 先创建一个主机

2 修改id,hostname,hosts

3 关闭防火墙

4 连接xshell

5 在opt下创建en和software包并将java导入到software包中

6 解压 java到en下

7 配置/etc/profile将java的环境加入进去

8 让文件生效并检测java环境是否配置成功

9 java -version

10 将主虚拟机关机

11 克隆3台虚拟机并把ip和hostname改掉重启

12 连接xshell

13 做免密

mkdir .ssh

ssh-keygen -t rsa

cd .ssh

在.ssh文件夹下进行免密秘钥生成并修改文件权限:

命令:

cat id_rsa.pub >> authorized_keys

文件权限修改

chmod 700 .ssh

chmod 600 .ssh/*

scp -r authorized_keys root@hadoop2:~/.ssh/ 从主节点到次节点

ssh-copy-id -i id_rsa.pub root@hadoop1          从次节点到主节点

14 配置好核心文件和hdfs文件

核心文件

<!-- 指定HDFS中NameNode的地址(第一台主机名) -->

<property>

       <name>fs.defaultFS</name>

     <value>hdfs://hadoop5:9000</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/opt/en/hadoop-2.7.2/data/tmp</value>

</property>

HDFS文件

配置hadoop-env.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置hdfs-site.xml

<property>

       <name>dfs.replication</name>

       <value>3</value>

</property>

<!-- 指定Hadoop辅助名称节点主机配置(第二台主机名) -->

<property>

     <name>dfs.namenode.secondary.http-address</name>

     <value>hadoop6:50090</value>

</property>

15 向其他两个子节点分发hadoop文件夹,并将从节点的Hadoop环境配置好

scp  -r root hadoop2:/opt/en

16 第一次启动时,在主机格式化namenode,进入hadoop/bin文件下,执行

hadoop namenode -format

17 启动hadoop集群进入hadoop/sbin文件夹下,执行start-all.sh启动集群

18 打开50070端口

19 将测试文件内容上传到文件系统上

hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input  /input

相关文章
|
5天前
|
存储 分布式计算 Hadoop
Hadoop分布式文件系统(HDFS)
【5月更文挑战第10天】
20 3
|
6天前
|
存储 SQL 分布式计算
Hadoop分布式架构
【5月更文挑战第8天】Hadoop分布式架构
12 4
|
6天前
|
分布式计算 Ubuntu Hadoop
【分布式计算框架】hadoop全分布式及高可用搭建
【分布式计算框架】hadoop全分布式及高可用搭建
29 1
|
6天前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
9 2
|
6天前
|
存储 分布式计算 监控
Hadoop配置复杂性
【5月更文挑战第7天】Hadoop配置复杂性
15 3
|
6天前
|
存储 分布式计算 Hadoop
Hadoop配置
【5月更文挑战第4天】
27 1
单向/双向V2G环境下分布式电源与电动汽车充电站联合配置方法(matlab代码)
单向/双向V2G环境下分布式电源与电动汽车充电站联合配置方法(matlab代码)
|
6天前
|
调度
考虑充电负荷空间可调度特性的分布式电源与电动汽车充电站联合配置方法(matlab代码)
考虑充电负荷空间可调度特性的分布式电源与电动汽车充电站联合配置方法(matlab代码)
|
6天前
|
安全
考虑极端天气线路脆弱性的配电网分布式电源和储能优化配置模型
考虑极端天气线路脆弱性的配电网分布式电源和储能优化配置模型
|
6天前
|
调度
互动环境下分布式电源与电动汽车充电站的优化配置方法研究-全文复现matlab
互动环境下分布式电源与电动汽车充电站的优化配置方法研究-全文复现matlab

相关实验场景

更多