Hadoop简介、安装

简介: hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高可用服务是基于计算机集群的,并且每一台计算机有可能出错。#### hadoop应用:

hadoop简介:

hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。
Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高可用服务是基于计算机集群的,并且每一台计算机有可能出错。

hadoop应用:

1.大型网站web服务器的日志分析(中国银行的个人征信)
2.运营商流量经营分析
3.IPTV收视统计与点播介绍
4.城市交通卡口视频监控信息的实时分析

安装

linux下的安装方式有三种:
1.二进制解压安装
2.rpm安装
3.在线安装(不同平台的yum、apt、brew)
这里采用二进制解压安装,下载hadoop地址:[http://www.apache.org/dyn/closer.cgi/hadoop/common/
](http://www.apache.org/dyn/closer.cgi/hadoop/common/)
安装hadoop的前提是需要安装java,因为是java开发的。
1.解压安装包到指定的目录,如:

tar  -zxvf  压缩文件路径   -C  解压的文件路径

2.为hadoop配置环境变量,如:在/etc/profile下配置全局变量
如:

vim  /etc/profile
#set java environment
export JAVA_HOME=/opt/java/jdk1.8.0_241
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

# set hadoop environment
export HADOOP_HOME=/opt/hadoop/hadoop-2.10.0

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:

3.配置hadoop的安装目录下的./etc/hadoop/hadoop-env.sh(告诉hadoop我们java安装的位置)
如下面的JAVA_HOME改成java安装的绝对路径(java环境变量配置好的话,下面也可以):

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

4.测试是否安装成功

which hadoop

hadoop支持3种模型的使用,分别是下面三种:
Local (Standalone) Mode(单机版,用于程序的调试)
Pseudo-Distributed Mode(伪分布式)
Fully-Distributed Mode(全分布式)
有关介绍查看官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

目录
相关文章
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
61 3
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
69 3
|
2月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
55 2
|
2月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
43 1
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
49 0
|
4月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
4月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
36 1
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
71 2
|
7月前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
1614 3
|
6月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
247 0

相关实验场景

更多