[绝对要收藏]配置hadoop完全分布式环境

简介: [绝对要收藏]配置hadoop完全分布式环境

##

环境:

hadoop-2.7.2,jdk1.8.0_144,CentOS-7-x86_64-Minimal-2009.iso

1 先创建一个主机

2 修改id,hostname,hosts

3 关闭防火墙

4 连接xshell

5 在opt下创建en和software包并将java导入到software包中

6 解压 java到en下

7 配置/etc/profile将java的环境加入进去

8 让文件生效并检测java环境是否配置成功

9 java -version

10 将主虚拟机关机

11 克隆3台虚拟机并把ip和hostname改掉重启

12 连接xshell

13 做免密

mkdir .ssh

ssh-keygen -t rsa

cd .ssh

在.ssh文件夹下进行免密秘钥生成并修改文件权限:

命令:

cat id_rsa.pub >> authorized_keys

文件权限修改

chmod 700 .ssh

chmod 600 .ssh/*

scp -r authorized_keys root@hadoop2:~/.ssh/ 从主节点到次节点

ssh-copy-id -i id_rsa.pub root@hadoop1          从次节点到主节点

14 配置好核心文件和hdfs文件

核心文件

<!-- 指定HDFS中NameNode的地址(第一台主机名) -->

<property>

       <name>fs.defaultFS</name>

     <value>hdfs://hadoop5:9000</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/opt/en/hadoop-2.7.2/data/tmp</value>

</property>

HDFS文件

配置hadoop-env.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置hdfs-site.xml

<property>

       <name>dfs.replication</name>

       <value>3</value>

</property>

<!-- 指定Hadoop辅助名称节点主机配置(第二台主机名) -->

<property>

     <name>dfs.namenode.secondary.http-address</name>

     <value>hadoop6:50090</value>

</property>

15 向其他两个子节点分发hadoop文件夹,并将从节点的Hadoop环境配置好

scp  -r root hadoop2:/opt/en

16 第一次启动时,在主机格式化namenode,进入hadoop/bin文件下,执行

hadoop namenode -format

17 启动hadoop集群进入hadoop/sbin文件夹下,执行start-all.sh启动集群

18 打开50070端口

19 将测试文件内容上传到文件系统上

hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input  /input

相关文章
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
61 1
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
71 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
78 2
|
1月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
45 2
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
48 1
|
1月前
|
SQL NoSQL 安全
分布式环境的分布式锁 - Redlock方案
【10月更文挑战第2天】Redlock方案是一种分布式锁实现,通过在多个独立的Redis实例上加锁来提高容错性和可靠性。客户端需从大多数节点成功加锁且总耗时小于锁的过期时间,才能视为加锁成功。然而,该方案受到分布式专家Martin的质疑,指出其在特定异常情况下(如网络延迟、进程暂停、时钟偏移)可能导致锁失效,影响系统的正确性。Martin建议采用fencing token方案,以确保分布式锁的正确性和安全性。
47 0
|
1月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
49 0
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
162 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
66 2
|
23天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
79 2
下一篇
无影云桌面