四十九、Hadoop HA部署(MINI版)(一)

简介: 四十九、Hadoop HA部署(MINI版)(一)

环境准备:


编号

主机名 类型 用户 用户
1 master1-1 主节点 root
passwd

2

slave1-1 从节点 root
passwd

3

slave1-2 从节点 root
passwd

CentOS 7.4 MINI镜像文件


hadoop-2.7.1.tar.gz


jdk1.8.0_221.tar.gz


zookeeper-3.4.8.tar.gz


运维实操手册


环境版本手册


       注:提取码均为: 0000


机器检查:


       1、输入用户名及登录密码进行登录


30.png


       2、 检查内网是否畅通


               A、查看机器IP地址


ip addr

31.png


       注:通过观察此台机器IP为192.168.231.244


               B、测试内网


32.png

33.png

34.png

       注:通过观察机器内网畅通


               C、测试外网


35.png


       注:通过观察此台机器外网畅通


       注:三台机器分别进行检查,网络配置无误


静态IP配置:


       1、查看各台机器IP地址


ip addr

36.png


        2、编辑ifcfg-ens33网络


vi /etc/sysconfig/network-scripts/ifcfg-ens33

37.png


       注:BOOTPROTO的值更改为static,加入最下面五行内容,分别为:IP,子网掩码,网关,DNS1,DNS2 其余配置勿进行更改


       提示:IP地址要与网关处于同一网段内,DNS1与网关相同即可,子网掩码,DNS2照搬即可


       3、重启网络


service network restart

       4、进行内网与外网的检查


ping 192.168.231.244
ping www.baidu.com

       此处笔者IP为:


主机名

IP
master1-1 192.168.231.244
slave1-1 192.168.231.245
slave1-2 192.168.231.246


相关文章
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
64 4
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
78 2
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
|
4月前
|
分布式计算 Ubuntu Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
|
4月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
|
4月前
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
|
4月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
160 0
|
6月前
|
分布式计算 Hadoop 网络安全