Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(0): 概述

简介: 目标 1). 零基础手把手纯操作,包含每个细节 2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成

概述

1. 目标

1). 零基础手把手纯操作,包含每个细节

2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成
AI 代码解读

2. 工具及版本

1). 操作系统Windows 10

2). 虚拟机软件VMware Workstation 12 Pro

3). Linux版本CentOS-6.9-x86_64-minimal

4). jdk版本jdk-7u67-linux-x64.tar.gz

5). hadoop版本hadoop-2.6.5.tar.gz

6). 辅助工具: xShell, xFtp

7). 为方便起见,本例中全部使用root用户
AI 代码解读

3. 四个阶段

1). 第一阶段:Hadoop单机伪分布(single)

2). 第二阶段:Hadoop完全分布式(full)

3). 第三阶段:Hadoop高可用(HA)

4). 第四阶段:Hadoop高可用+联邦+视图文件系统(HA+Federation+ViewFs)


参考资料:

a). Hadoop数据分析平台实战——010hadoop介绍安装

目录
打赏
0
0
0
0
7
分享
相关文章
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
299 3
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
【4月更文挑战第2天】Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
334 2
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
505 2
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
分布式系统详解--框架(Hadoop-单机版搭建)
分布式系统详解--框架(Hadoop-单机版搭建)
94 0
分布式系统详解--框架(Hadoop-单机版搭建)
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
151 2
【分布式计算框架】hadoop全分布式及高可用搭建
【分布式计算框架】hadoop全分布式及高可用搭建
274 1
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
427 0

相关实验场景

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等