一、精品 1.虚无境的博客 随笔分类 - hadoop     二、参考资料 1.大数据学习之路（持续更新中...） 2.Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 3.hadoop安装教程

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/84本文地址：http://www.showmeai.tech/article-detail/169声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.引言本教程ShowMeAI详细给大家讲解Hadoop的安装与环境配置方法，关于Hadoop与map-reduce的基础知识，大家可以回顾ShowMeAI的基础知识讲解篇分布式平台Hadoop与Map-reduce详解。本教程的工作环境为Linux系统（实际有大数据环境的公司，工作与开发环境很多也是在服务器上，大家可以尽早熟悉一下）。本教程使用到的Hadoop安装文件，下载方式有以下选择：① Hadoop官网 https://hadoop.apache.org/releases.html② 百度网盘，找到Hadoop安装文件【hadoop-2.7.1.tar.gz】进行后续实验Hadoop安装文件下载（百度网盘）链接：https://pan.baidu.com/s/1kFBBT2glXeGxf_Y2PXwA7Q 提取码：show2.环境说明系统环境： Ubuntu 14.04 64位 （Ubuntu 12.04，Ubuntu16.04 也行，32位、64位均可）。Hadoop版本：本教程基于Hadoop 2完成，Hadoop 2.6.0 (stable) 版本验证通过，可适合任何 Hadoop 2.x.y 版本。3.创建用户1）新增用户首先新增一个名为 hadoop 的用户。打开终端窗口（快捷键ctrl+alt+t ），输入如下命令 :sudo useradd -m hadoop -s /bin/bash对上述操作做一个解释：sudo命令：sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码。本教程中大量使用到sudo命令。密码：在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。而在windows系统中,输入密码一般都会以“*”表示你输入的密码字符。2）设置密码使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：sudo passwd hadoop再通过以下命令为 hadoop 用户增加管理员权限，方便部署：sudo adduser hadoop sudo4.更新apt接下来更新一下 apt，因为在Linux（Ubuntu）环境下最方便的安装软件方式是使用 apt ，保持它在比较新的状态，在命令行执行如下命令：sudo apt-get update安装vim等编辑器：后续使用vim进行文本编辑，这里基于更新后的apt安装一下vim，命令如下：sudo apt-get install vim安装软件时若需要确认，在提示处输入 y 即可。5.安装与配置SS集群、单节点模式都需要用到 SSH 登陆，Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server，可以基于以下命令安装：sudo apt-get install openssh-server安装后，可以使用如下命令登陆本机：ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。下面配置一下SSH无密码登陆，以便更快捷的操作。首先退出刚才的 ssh，再利用 ssh-keygen 生成密钥，并将密钥加入到授权中，命令如下：exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示，都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权上述命令中：~ 代表的是用户的主文件夹，即 /home/用户名 这个目录命令中的 # 后面的文字是注释，只需要输入前面命令即可。此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。6.安装Java环境安装需要依赖jdk安装包，从下方百度网盘下载。Hadoop安装文件下载（百度网盘）链接：https://pan.baidu.com/s/1kFBBT2glXeGxf_Y2PXwA7Q 提取码：show下载JDK1.8的安装包【jdk-8u162-linux-x64.tar.gz】，并把压缩格式的文件jdk-8u162-linux-x64.tar.gz下载到本地电脑，假设保存在 /home/hadoop/Downloads/ 目录下。在Linux命令行界面中，执行如下Shell命令（注意：当前登录用户名是hadoop）：cd /usr/lib sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件 cd ~ #进入hadoop用户的主目录 cd Downloads #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下 sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下JDK文件解压缩以后，可以执行如下命令到 /usr/lib/jvm 目录查看一下：cd /usr/lib/jvm ls可以看到，在 /usr/lib/jvm 目录下有个jdk1.8.0_162目录。下面继续执行如下命令，设置环境变量：cd ~ vim ~/.bashrc上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH保存 .bashrc 文件并退出vim编辑器。然后，继续执行如下命令让 .bashrc 文件的配置立即生效：source ~/.bashrc这时，可以使用如下命令查看是否安装成功：java -version如果能够在屏幕上返回如下信息，则说明安装成功：hadoop@ubuntu:~$ java -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)7.安装 Hadoop 2下面安装Hadoop 2，安装文件可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，也可以通过以下方式下载：① Hadoop官网 https://hadoop.apache.org/releases.html② 百度网盘，找到Hadoop安装文件【hadoop-2.7.1.tar.gz】进行后续实验Hadoop安装文件下载（百度网盘）链接：https://pan.baidu.com/s/1kFBBT2glXeGxf_Y2PXwA7Q 提取码：show选择将 Hadoop 安装至 /usr/local/ 中：sudo tar -zxf ~/下载/hadoop-2.7.1.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.7.1/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：cd /usr/local/hadoop ./bin/hadoop version8.Hadoop单机配置Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。现在可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。在此选择运行 grep 例子，将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。cd /usr/local/hadoop mkdir ./input cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看运行结果执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。删除命令为 rm -r ./output 。9.Hadoop伪分布式配置Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml (可以通过 vim/gedit 编辑: vim ./etc/hadoop/core-site.xml 或者 gedit ./etc/hadoop/core-site.xml)，将当中的<configuration> </configuration>修改为下面配置：<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>同样的，修改配置文件 hdfs-site.xml：<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>配置完成后，执行 NameNode 的格式化：cd /usr/local/hadoop ./bin/hdfs namenode -format成功的话，会看到 successfully formatted 和 Exitting with status 0 的提示，若为 Exitting with status 1 则是出错。接着开启 NameNode 和 DataNode 守护进程。cd /usr/local/hadoop ./sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件，中间没有空格若出现如下SSH提示，输入 yes 即可。启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程：“NameNode”、”DataNode” 和 “SecondaryNameNode”成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。10.运行Hadoop伪分布式实例上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hadoop fs -mkdir -p /user/hadoop上述命令有以下3种不同的形态均可使用：hadoop fs hadoop dfs hdfs dfs接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。命令如下：./bin/hadoop fs -mkdir input ./bin/hadoop fs -put ./etc/hadoop/*.xml input复制完成后，可以通过如下命令查看文件列表：./bin/hadoop fs -ls input伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：./bin/hadoop fs -cat output/*结果如下，注意到刚才已经更改了配置文件，所以运行结果不同。11.安装Hadoop集群初次学习，伪分布式完整的功能已经具备了，足够使用。如果需要安装 Hadoop 集群，请查看 Hadoop集群安装配置教程（https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/ ）。参考资料http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttp://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.htmlhttp://www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/【大数据技术与处理】推荐阅读图解大数据 | 大数据生态与应用导论图解大数据 | 分布式平台Hadoop与Map-Reduce详解图解大数据 | Hadoop系统搭建与环境配置@实操案例图解大数据 | 应用Map-Reduce进行大数据统计@实操案例图解大数据 | Hive搭建与应用@实操案例图解大数据 | Hive与HBase详解@海量数据库查询图解大数据 | 大数据分析挖掘框架@Spark初步图解大数据 | 基于RDD大数据处理分析@Spark操作图解大数据 | 基于Dataframe / SQL大数据处理分析@Spark操作图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例图解大数据 | 使用Spark分析挖掘零售交易数据@综合案例图解大数据 | 使用Spark分析挖掘音乐专辑数据@综合案例图解大数据 | Spark Streaming @流式数据处理图解大数据 | 工作流与特征工程@Spark机器学习图解大数据 | 建模与超参调优@Spark机器学习图解大数据 | GraphFrames @基于图的数据分析挖掘ShowMeAI 系列教程推荐大厂技术实现：推荐与广告计算解决方案大厂技术实现：计算机视觉解决方案大厂技术实现：自然语言处理行业解决方案图解Python编程：从入门到精通系列教程图解数据分析：从入门到精通系列教程图解AI数学基础：从入门到精通系列教程图解大数据技术：从入门到精通系列教程图解机器学习算法：从入门到精通系列教程机器学习实战：手把手教你玩转机器学习系列深度学习教程：吴恩达专项课程 · 全套笔记解读自然语言处理教程：斯坦福CS224n课程 · 课程带学与全套笔记解读

一、Hadoop快速入门 分布式计算开源框架Hadoop_入门实践 一篇不错的hadoop介绍文章 用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门 一图解说Hadoop的发展历程 讨论：Hadoop社区与中国云计算开源展望 用Hadoop进行分布式数据处理入门篇 Hadoop入门简介 hadoop入门语录 为什么Hadoop一定是分布式计算的未来？ Hadoop Ubuntu 学习笔记 二、Hadoop集群搭建 Hadoop集群安装 Hadoop超级安装手册 云计算的利刃：快速部署Hadoop集群 Hadoop学习笔记之二：部署与应用实例 ubuntu下hadoop的部署 ssh的无密码登陆 Hadoop的安装部署以及使用 Hadoop集群搭建 Hadoop中的集群配置和使用技巧 三、Hadoop分布式文件系统：架构和设计 大数据下的数据分析-Hadoop架构解析 Hadoop分布式文件系统：架构和设计要点 Hadoop的HDFS 四、Hadoop 命令和使用指南 Hadoop中的数据库访问 Hadoop in Practice 用Hadoop进行分布式并行编程 用Hadoop进行分布式并行编程, 第2 部分 用Hadoop进行分布式并行编程, 第3 部分 使用 Linux 和 Hadoop 进行分布式计算 Hadoop：HDFS权限管理用户指南 Hadoop命令手册 Hadoop Shell命令 利用Ant构建Hadoop高效开发环境 四、Hadoop Map/Reduce/ DistCp SMAQ：海量数据的存储计算和查询模型l 关于MapReduce-Hadoop权威指南连载l Hadoop学习笔记之：Hadoop的两个部分 EMC为企业提供基于Hadoop的大数据分析 针对Hadoop MapReduce的数据处理API Hadoop DistCp Hadoop Map/Reduce教程 Lucene-Hadoop, GFS中Map/Reduce的简单实现 六、Hadoop本地库 Hadoop本地库 七、Hadoop Streaming Hadoop Streaming Hadoop Streaming 编程 hadoop-Streaming学习 Hadoop Streaming框架使用（一） Hadoop的Streaming 八、Hadoop Archives Hadoop Archives 九、Hadoop On Demand Hadoop On Demand管理指南 十、Hadoop常见问题 大数据时代 Hadoop解决数据处理三瓶颈 Hadoop平台存在三个方面的挑战 Hadoop关于处理大量小文件的问题和解决方法 Hadoop使用常见问题以及解决方法（1） - [分布式] Hadoop使用常见问题以及解决方法（2） - [分布式] 十一、文档资料 hadoop最好的参考资料 hadoop权威指南中文版 官方文档 hadoop开发者杂志 十二、厂商与hadoop合作发展 戴尔将在服务器中预装开源Hadoop平台 微软SQL Server增加对Hadoop的支持 Dell与Cloudera 共推Hadoop 解决方案 IBM将在Hadoop上建立全新存储架构设计 EMC为企业提供基于Hadoop的大数据分析 Yahoo公布Hadoop的源代码 Cloudera的免费Hadoop Hadoop:Google核心技术的开源版本hadoop资料汇总.pdf

从零开始安装Hadoop视频教程      Hadoop 是一个能够对大量数据进行分布式处理的软件框架，用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热，组成大型集群系统，由于它的可伸缩性能够处理PB级的数据，更加适用于大数据时代的大量的分布的数据处理，而成本又相对比价廉价。市面上已有不少资料讲解Hadoop，首次接触这一块的朋友单村依靠这些零散的资料而搭建一个Hadoop集群，困难可想而知，所以制作了这一视频教程让大家能够快速体验搭建过程。本视频教程从Oracle VM virtualBox下安装操作系统开始，零起点讲解Hadoop的安装过程。 全屏浏览：http://www.tudou.com/programs/view/RG7FMRO6JPw/?rpid=117459337&resourceId=117459337_06_05_9  本文转自 李晨光 51CTO博客，原文链接：http://blog.51cto.com/chenguang/1177509，如需转载请自行联系原作者

实用贴:hadoop系统下载安装教程在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程，本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明：分享的所有内容是以个人的操作经验为基础，有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发行版，三个节点的标准版本，个人研究或者学习hadoop三节点完全够用。DKhadoop三节点的发行版我记得是现在应该也是免费开放下载的，之前专门就免费版和付费版有无区别的问题问过他们，免费版本和付费版本在后台功能上没有区别，所有权限都对免费版本开放。本篇分享hadoop的安装步骤依然是也DKhadoop为例。DKhadoop的安装可以说真的是很简单。五月份的时候跟和大二、大三的几个学生聊hadoop的事情，他们吐槽点都集中在环境的搭建安装。一次性安装成功这种事情是不存在的，折腾到崩溃却是事实。我让他们去下载DKHadoop安装试一下，至于后来试没试就不得而知了。下面就切入正题，看完整个安装步骤你会发现hadoop安装原来也可以这么简单！ 一、DKH安装包下载安装包上传在了网盘，需要安装包的朋友可以留言索要！再次下载的步骤就省略不写了。 二、DKH安装步骤1、登录：启动成功后访问 IP，登陆默认用户名和密码: Username:adminPassword:123456 2、使用条款： 3、集群指定主机（安装过程中请不要刷新页面）： 4、集群安装（DKM各组件安装）：这里有3种安装方式 “基本安装”，“完整安装”，“自定义安装”。（1）基本安装： （2）完整安装：DKM集成了相对完整的大数据开发环境组件。 （3）自定义安装：用户可以根据自己的需求，选择安装的组件并且给组件分配角色。 （4）点击“继续”，可以查看各机器分配的角色。 5、开始安装组件：我以“基本安装”方式来进行示例，其他方式类同，选择“下一步”会出现如下图的进度条。 6、点击“完成安装”会转到 DKM 监控界面（ip:8998） ，首先需要登录， 用户名：admin ,密码：admin 。 7、点击登录，进入到集群监控界面，如下图： 进入到集群监控界面就表示安装成功了，关于集群监控界面的内容就留在后面在给大家分享吧。此部分内容最好与前面写的几篇结合起来看更容易明白！前面的几篇文章：第一篇：《hadoop集群管理系统搭建规划说明》第二篇：《最新虚拟机搭建hadoop环境详细图文教程》第三篇：《Hadoop伪分布式环境搭建之Linux系统安装教程》第四篇：《hadoop服务器基础环境搭建之Hadoop服务器配置教程》

由于单个附件最大只能为2M，所以将《Hadoop开发者入门专刊》分成了三份，用WinRAR解压即可还原成一个文件《Hadoop开发者入门专刊.pdf》   目录 1        Hadoop介绍 2        Hadoop在国内应用情况 3        Hadoop源代码eclipse编译教程 7        在Windows上安装Hadoop教程 13      在Linux上安装Hadoop教程 19      在Windows上使用eclipse编写Hadoop应用程序 24      在Windows中使用Cygwin安装HBase 28      Nutch 与Hadoop的整合与部署 31      在Windows eclipse上单步调试Hive教程 38      Hive应用介绍 42      Hive执行计划解析 50      MapReduce中的Shuffle和Sort分析 53      海量数据存储和计算平台的调试器研究 56      探讨MapReduce模型的改进 58      运行eclipse编译出的Hadoop框架 59      表关联在MapReduce上的实现 63      Hadoop计算平台和Hadoop数据仓库的区别 请注意: 将“Hadoop开发者入门专刊.part1”另存为：1.rar 将“Hadoop开发者入门专刊.part2”另存为：2.rar 将“Hadoop开发者入门专刊.part3”另存为：3.rar 然后才解压，否则解压时报找不到文件错误。     本文转自eyjian 51CTO博客，原文链接：http://blog.51cto.com/mooon/275499，如需转载请自行联系原作者

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程，本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明：分享的所有内容是以个人的操作经验为基础，有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发行版，三个节点的标准版本，个人研究或者学习hadoop三节点完全够用。DKhadoop三节点的发行版我记得是现在应该也是免费开放下载的，之前专门就免费版和付费版有无区别的问题问过他们，免费版本和付费版本在后台功能上没有区别，所有权限都对免费版本开放。 本篇分享hadoop的安装步骤依然是也DKhadoop为例。DKhadoop的安装可以说真的是很简单。五月份的时候跟和大二、大三的几个学生聊hadoop的事情，他们吐槽点都集中在环境的搭建安装。一次性安装成功这种事情是不存在的，折腾到崩溃却是事实。我让他们去下载DKHadoop安装试一下，至于后来试没试就不得而知了。下面就切入正题，看完整个安装步骤你会发现hadoop安装原来也可以这么简单！   一、DKH安装包下载 安装包上传在了网盘，需要安装包的朋友可以留言索要！再次下载的步骤就省略不写了。 二、DKH安装步骤 1、登录：启动成功后访问 IP，登陆默认用户名和密码: Username:admin Password:123456   2ã使用条款：     3、集群指定主机（安装过程中请不要刷新页面）： 4、集群安装（DKM各组件安装）：这里有3种安装方式 “基本安装”，“完整安装”，“自定义安装”。 （1）基本安装：     （2）完整安装：DKM集成了相对完整的大数据开发环境组件。 ï¼3ï¼自定义安装：用户可以根据自己的需求，选择安装的组件并且给组件分配角色。     （4）点击“继续”，可以查看各机器分配的角色。   5、开始安装组件：我以“基本安装”方式来进行示例，其他方式类同，选择“下一步”会出现如下图的进度条。   6、点击“完成安装”会转到 DKM 监控界面（ip:8998） ，首先需要登录， 用户名：admin ,密码：admin 。   7、点击登录，进入到集群监控界面，如下图： 进入到集群监控界面就表示安装成功了，关于集群监控界面的内容就留在后面在给大家分享吧。此部分内容最好与前面写的几篇结合起来看更容易明白！前面的几篇文章： 第一篇：《hadoop集群管理系统搭建规划说明》 第二篇：《最新虚拟机搭建hadoop环境详细图文教程》 第三篇：《Hadoop伪分布式环境搭建之Linux系统安装教程》 第四篇：《hadoop服务器基础环境搭建之Hadoop服务器配置教程》

最近老师叫做一个大数据的项目，虽然对大数据云计算不是很了解，但好像很牛逼的样子。本着学习的态度还是决定要好好坐下去。这个分类下的文章就作为项目的开发记录吧。 第一周计划：了解Hadoop和MapReduce Hadoop安装笔记（环境为Linux mint14）： 1.首先在网上找一篇博客，一不小心找到了Hadoop实战，说的还真全面！（也可参考官方文档http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html） 2.先安装java JDK1.6或更高版本，因为Hadoop是基于java的，还要安装ssh，因为Hadoop需要通过ssh来启动salve列表中各台主机的守护进程。 安装命令：sudo apt-get install XXX 用java -version和ssh -version来验证是否安装成功。 3.配置ssh免密码登录。在用户文件夹下找到.ssh文件夹（用ls -a 查看，没有就新建一个）输入命令： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa sh-keygen代表生成密钥；-t（注意区分大小写）表示指定生成的密钥类型；dsa是dsa密钥认证的意思，即密钥类型；-P用于提供密语；-f指定生成的密钥文件。在Ubuntu中，~代表当前用户文件夹cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。然后再输入下列命令测试： ssh localhost 输入yes如果提示welcome则没问题。 4.下载安装Hadoop。地址http://apache.claz.org/hadoop/common/，(注意要下那个100多M的，不要下src源文件) 网上有hadoop配置教程，都说要改conf文件夹下的东西，但是在新版本中路径变了，没有conf文件夹。便于学习我用的是1.12版本。详细配置就不说了。 5.初始化 配置好后先格式化hadoop文件系统hdfs，进入hadoop/bin，执行 sudo ./hadoop namenode -format 如果找不到hadoop命令就给它加一个可执行权限（chmod 777 hadoop）。 启动hadoop：sudo ./start-all.sh 要求输入yes和系统密码。 然后在浏览器输入localhost:50030和localhost:50070分别验证MapReduce页面和hdfs页面 错误记录： 执行bin/hadoop namenode -format时有许多地方namenode写成了NameNode，LZ报错了，要用小写，真尴尬

准备工作1.我们首先可以去阿里云或者华为云去租用一台服务器，毕竟一个初级版本的服务器，也没有那么贵，阿粉还是用的之前租用的那台，我们选择安装 Linux8 的版本，如果是本机的话，你需要下载 CentOS8 的镜像，然后通过虚拟机安装到 VM 上就可以了，安装完成我们就可以开始安装 Hadoop 了我们先说说 Hadoop 都能干啥，以及人们经常对 Hadoop 误解。Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。但是很多人就会对 Hadoop 产生一个误解，有些非常捧 Hadoop 的人就会说，Hadoop 什么东西都可以做，实际上不是的，每一项技术的出现，都是对应着解决不同的问题的，比如我们接下来要学习的 Hadoop 。Hadoop适合来做数据分析，但是绝对不是 BI ，传统 BI 是属于数据展现层(Data Presentation)，Hadoop就是专注在半结构化、非结构化数据的数据载体，跟BI是不同层次的概念。还有人说 Hadoop 就是 ETL ，就相当于数据处理，但是，Hadoop 并不是一个绝对意义上的 ETL 。安装 Hadoop 教程1.安装SSHyum install openssh-serverOpenSSH是Secure Shell的一个开源实现,OpenSSH Server安装完成后在/etc/init.d目录下应该会增加一个名为sshd的服务,一会我们就要把生成的密钥放到指定位置，然后用来当作之后的身份验证。2.安装 rsyncyum -y install rsync3.产生 SSH 密钥之后继续进行后续的身份验证ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa4.把产生的密钥放入许可文件中cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys安装Hadoop安装 Hadoop 之前我们要先把 JDK 安装好，配置好环境变量，出现下面这个样子，就说明 JDK 已经安装完成了。1.解压Hadoop我们先要把 Hadoop 放到我们的服务器上，就像阿粉这个样子，然后解压 tar zxvf hadoop-3.3.1.tar.gz2.修改bashrc文件vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH复制到文件中保存退出3.生效文件source ~/.bashrc4.修改配置文件 etc/hadoop/core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 缓存存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/app/hadooptemp</value> </property>5.修改 etc/hadoop/hdfs-site.xml<!-- 默认为3，由于是单机，所以配置1 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- 配置http访问地址 --> <property> <name>dfs.http.address</name> <value>0.0.0.0:9870</value> </property>6.修改 etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_647.修改etc/hadoop/yarn-env.sh文件export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_648.修改sbin/stop-dfs.sh文件，在顶部增加HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root YARN_NODEMANAGER_USER=root修改sbin/start-dfs.sh文件，在顶部增加HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root YARN_NODEMANAGER_USER=root9-1.修改start-yarn.sh 文件YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root9-2.修改stop-yarn.sh文件YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root上面的这些命令主要是用于当你启动 Hadoop 的时候，会提示认证不通过。10.格式化，进入hadoop的bin文件夹，执行下面的命令./hdfs namenode -format11.进入sbin文件夹，启动hadoop./start-dfs.sh也可以直接全部启动 ./start-all.sh然后直接访问8088端口即可12.防火墙开启端口,如果用的云服务器，请将9870端口加入安全组出入口//添加9870端口到防火墙 firewall-cmd --zone=public --add-port=9870/tcp --permanent //重启防火墙 firewall-cmd --reload13.输入 jps 如果是如果是4个或者5个就配置成功，再继续通过web访问hadoop，访问地址：http://IP地址:9870当我们看到这个的时候，说明我们已经安装成功了。注意，Hadoop3.x 版本的看 Hadoop Web端的端口没有变化，但是 HDFS 端 则由 50070 变成了 9870 这个需要注意一下呦，你学会了么？

我是来自贵州一所普通的大三学生，我学习的是数据科学与大数据专业，因为我非常需要服务器来搭建大数据的开发平台，然后我是在同学的推荐下知道了阿里云服务器这个东西。但是我看到普通版的价格都尤其的贵，我在想着阿里云有没有一款适合学生使用的服务器，恰好某一天我在逛网站看到有一篇文章介绍了“飞天加速计划·高校学生在家实践”活动。 我在这篇文章的吸引方式和途径了解到“飞天加速计划·高校学生在家实践”活动，这个活动是专门针对学生推出的一款活动，凡是只要年龄在25岁以下，你不用认证，咱们亲爱的阿里云平台会给你这个非常好的政策，他不但可以节约一大笔钱，让我们学生使用得起云服务器，还可以通过参加活动达到免费领取云服务器的好事。我在使用阿里云ecs过程中，一开始不知道在哪里选择自己需要的系统，或者咱们查看自己的ip密码这些一系列问题大都是通过百度可以解决这些问题，有一点需要注意的是我们用工具连接linux系统的时候不是用私网连接的，而是公网。 千万需要注意。我希望可以申请到我们的阿里云服务器，来练习平时的学习希望多看多练习，达到自己的要求。我们这里的平台还有手把手教我们搭建一些创建的平台，我们也可以多注意上去逛逛。在我选择Linux的Ubuntu操作系统来搭建基本的大数据运行平台，这里我举了搭建Hadoop平台的例子大家有兴趣可以和我一起看看过程版本配置是Hadoop3.1.3安装教程-单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.041：创建hadoop用户命令：sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。2:接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：命令：sudo passwd hadoop3：为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题命令：sudo adduser hadoop sudo4：安装Java环境5：设置环境变量export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH6：使用命令java -version即可查看到Java的版本信息，证明安装成功7：我们选择将 Hadoop 安装至 /usr/local/ 中：sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop # 修改文件权限8：伪分布式的配置：修改core-site.xml 和 hdfs-site.xml 文件9：配置完成后，执行 NameNode 的格式化:到此我们的Hadoop搭建成功