Hadoop03【搭建环境准备】

简介: Hadoop03【搭建环境准备】


一、环境准备

1.jdk

 hadoop安装前必须要安装好jdk环境,版本最好用jdk8。

image.png

2.节点准备

 准备四个节点

节点 描述

hadoop-node1(192.168.88.61) NameNode

hadoop-node2(192.168.88.62) DataNode

hadoop-node3(192.168.88.63) DataNode

hadoop-node4(192.168.88.64) DataNode

image.png

3.免密配置

 hadoop-node1免密登录其他三个节点

image.png

 

ssh-keygen

image.png

image.png

将公钥发送给到其他对应的几个节点上

ssh-copy-id hadoop-node02

image.png

重复此步骤,完成免密设置。注意节点自身对自身也要设置免密登录。

4.节点时间同步

 在hadoop集群环境中要求各个节点的时间必须一致,心跳检查的时候需要。

date

image.png

同步网络时间

ntpdate time.nist.gov

如果提示命令无效

yum install -y ntpdate

更新成功

[root@hadoop-node01 ~]# ntpdate time.nist.gov
31 Mar 21:27:49 ntpdate[1883]: no server suitable for synchronization found
[root@hadoop-node01 ~]# date
2019年 03月 31日 星期日 21:27:52 CST
[root@hadoop-node01 ~]# ntpdate time.nuri.net
31 Mar 22:39:12 ntpdate[1885]: step time server 211.115.194.21 offset 4258.937371 sec
[root@hadoop-node01 ~]# date
2019年 03月 31日 星期日 22:39:17 CST

如果还是无效,可以尝试如下地址:

ntpdate time.nist.gov
ntpdate time.nuri.net
ntpdate 0.asia.pool.ntp.org
ntpdate 1.asia.pool.ntp.org
ntpdate 2.asia.pool.ntp.org
ntpdate 3.asia.pool.ntp.org

四个节点都需要更新一致!

image.png

相关文章
|
6月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
59 4
|
6月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
123 0
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
61 1
|
1月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
49 0
|
3月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
120 0
|
分布式计算 Hadoop Java
搭建Hadoop环境
搭建Hadoop环境
141 0
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
6月前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
50 0
|
6月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
117 0
|
6月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
104 0

相关实验场景

更多
下一篇
无影云桌面