hadoop简介:
hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。
Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高可用服务是基于计算机集群的,并且每一台计算机有可能出错。
hadoop应用:
1.大型网站web服务器的日志分析(中国银行的个人征信)
2.运营商流量经营分析
3.IPTV收视统计与点播介绍
4.城市交通卡口视频监控信息的实时分析
安装
linux下的安装方式有三种:
1.二进制解压安装
2.rpm安装
3.在线安装(不同平台的yum、apt、brew)
这里采用二进制解压安装,下载hadoop地址:[http://www.apache.org/dyn/closer.cgi/hadoop/common/
](http://www.apache.org/dyn/closer.cgi/hadoop/common/)
安装hadoop的前提是需要安装java,因为是java开发的。
1.解压安装包到指定的目录,如:
tar -zxvf 压缩文件路径 -C 解压的文件路径
2.为hadoop配置环境变量,如:在/etc/profile下配置全局变量
如:
vim /etc/profile
#set java environment
export JAVA_HOME=/opt/java/jdk1.8.0_241
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
# set hadoop environment
export HADOOP_HOME=/opt/hadoop/hadoop-2.10.0
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:
3.配置hadoop的安装目录下的./etc/hadoop/hadoop-env.sh(告诉hadoop我们java安装的位置)
如下面的JAVA_HOME改成java安装的绝对路径(java环境变量配置好的话,下面也可以):
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
4.测试是否安装成功
which hadoop
hadoop支持3种模型的使用,分别是下面三种:
Local (Standalone) Mode(单机版,用于程序的调试)
Pseudo-Distributed Mode(伪分布式)
Fully-Distributed Mode(全分布式)
有关介绍查看官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html