Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(0): 概述

简介: 目标 1). 零基础手把手纯操作,包含每个细节 2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成

概述

1. 目标

1). 零基础手把手纯操作,包含每个细节

2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成

2. 工具及版本

1). 操作系统Windows 10

2). 虚拟机软件VMware Workstation 12 Pro

3). Linux版本CentOS-6.9-x86_64-minimal

4). jdk版本jdk-7u67-linux-x64.tar.gz

5). hadoop版本hadoop-2.6.5.tar.gz

6). 辅助工具: xShell, xFtp

7). 为方便起见,本例中全部使用root用户

3. 四个阶段

1). 第一阶段:Hadoop单机伪分布(single)

2). 第二阶段:Hadoop完全分布式(full)

3). 第三阶段:Hadoop高可用(HA)

4). 第四阶段:Hadoop高可用+联邦+视图文件系统(HA+Federation+ViewFs)


参考资料:

a). Hadoop数据分析平台实战——010hadoop介绍安装

目录
相关文章
|
6月前
|
分布式计算 Hadoop 测试技术
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
176 3
|
6月前
|
分布式计算 资源调度 Hadoop
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
【4月更文挑战第2天】Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
213 2
|
3月前
|
机器学习/深度学习 存储 分布式计算
Hadoop高可用集群搭建
Hadoop高可用集群搭建
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
188 2
|
3月前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
5月前
|
XML 分布式计算 Hadoop
分布式系统详解--框架(Hadoop-单机版搭建)
分布式系统详解--框架(Hadoop-单机版搭建)
71 0
分布式系统详解--框架(Hadoop-单机版搭建)
|
6月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
79 2
|
5月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
224 0
|
6月前
|
分布式计算 Ubuntu Hadoop
【分布式计算框架】hadoop全分布式及高可用搭建
【分布式计算框架】hadoop全分布式及高可用搭建
125 1
|
6月前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
52 3