分布式系统详解--架构(Hadoop-克隆服务器)

简介: 分布式系统详解--架构(Hadoop-克隆服务器)

      分布式系统详解--架构(Hadoop-克隆服务器)

        分布式系统上一个呢,写了一下分布式系统的单机版安装教程,并且对于hadoop来说进行了一个单机版的应用测试。我们这篇文章主要讲解一下利用hadoop来进行分布式搭建。当然在搭建分布式集群之前也要仔细的了解一下hadoop的一些原理,比如说:HDFS原理和YARN原理

一、克隆服务器(基于虚拟机VMware)


右键服务器--> 管理-->克隆 (下一步)录制小视频~~

二、克隆后配置(修改新创建的服务器信息)


2.1 修改主机名

A. 临时修改 hostname centos01 这个重启之后就会失效。

B. 保存修改  /etc/sysconfig/network添加HOSTNAME=centos01

2.2 修改网卡信息

vi /etc/udev/rules.d/70-persistent-net.rules

看到两个几乎相似的信息,删掉上面的,留着下面的。将NAME="eth1"改为NAME="eth0"。

2.3 修改ip信息


vi /etc/sysconfig/network-scripts/ifcfg-eth0

1,修改UUID将其设置为另外一个十六进制的数

2,HWADDR数值为该服务器中网络适配器里面高级设置中的MAC地址。

3,IPADDR的值是IP 地址,我的虚拟机中服务器为233,将233设置为了234。自己可以自行修改

2.4 修改映射

vi /etc/hosts

根据上面的MyLinux 添加centos01的映射。

2.5 重启网卡

service network restart

倘若重启失败,最后一个出现了失败,那就重启一下服务器,再重新测试一下。

这样我们就克隆一个服务器完成。

2.6 重新克隆一个服务器,叫做centos02 ip地址是192.168.71.235


2.7 互相ping命令,看是否能进行ping通


OK。进行到这儿我们就可以进行下一步配置了,就是hadoop的集群配置,这个放在下一个来说~~

目录
相关文章
|
3天前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
3天前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
26天前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
85 5
|
1月前
|
存储 监控 固态存储
【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN 分布式存储虚拟化平台VMDK文件1KB问题数据恢复案例
在一例vSAN分布式存储故障中,因替换故障闪存盘后磁盘组失效,一台采用RAID0策略且未使用置备的虚拟机VMDK文件受损,仅余1KB大小。经分析发现,该VMDK文件与内部虚拟对象关联失效导致。恢复方案包括定位虚拟对象及组件的具体物理位置,解析分配空间,并手动重组RAID0结构以恢复数据。此案例强调了深入理解vSAN分布式存储机制的重要性,以及定制化数据恢复方案的有效性。
64 5
|
25天前
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
34 3
YARN(Hadoop操作系统)的架构
|
1月前
|
存储 NoSQL Java
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
这篇文章是关于Java面试中的分布式架构问题的笔记,包括分布式架构下的Session共享方案、RPC和RMI的理解、分布式ID生成方案、分布式锁解决方案以及分布式事务解决方案。
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
|
30天前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
70 2
|
10天前
|
存储 分布式计算 Hadoop
探讨Hadoop的基础架构及其核心特点
总之,Hadoop的设计目标是解决大数据存储和分析问题,提供一个可靠、可扩展、高效且成本低廉的解决方案。随着数据量的日益增长,Hadoop及其生态系统在业界的重要性也日益凸显。
13 0
|
1月前
|
弹性计算 Cloud Native Windows
核心系统转型问题之核心系统需要转型到云原生分布式架构的原因如何解决
核心系统转型问题之核心系统需要转型到云原生分布式架构的原因如何解决
|
1月前
|
存储 分布式计算 Hadoop
【揭秘Hadoop背后的秘密!】HDFS读写流程大曝光:从理论到实践,带你深入了解Hadoop分布式文件系统!
【8月更文挑战第24天】Hadoop分布式文件系统(HDFS)是Hadoop生态系统的关键组件,专为大规模数据集提供高效率存储及访问。本文深入解析HDFS数据读写流程并附带示例代码。HDFS采用NameNode和DataNode架构,前者负责元数据管理,后者承担数据块存储任务。文章通过Java示例演示了如何利用Hadoop API实现数据的写入与读取,有助于理解HDFS的工作原理及其在大数据处理中的应用价值。
51 1

热门文章

最新文章