hadoop官网地址：https://hadoop.apache.org/
【1】安装jdk
这是前置步骤，必须有jdk环境，而且需要先卸载虚拟机自带的jdk。
查看系统中默认安装的jdk：
rpm -qa|grep jdk java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 copy-jdk-configs-3.3-10.el7_5.noarch java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64 java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
卸载JDK相关文件:
yum -y remove java-1.7.0-openjdk* yum -y remove java-1.8.0-openjdk*
如下所示我们将包传给虚拟机：
解压JDK到/opt/module目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
配置JDK环境变量
新建/etc/profile.d/my_env.sh文件，
vim /etc/profile.d/my_env.sh
添加如下内容，保存后退出。
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin
使新的环境变量PATH生效
source /etc/profile
检测是否生效：
[root@centos3 softinstall]# java -version java version "1.8.0_212" Java(TM) SE Runtime Environment (build 1.8.0_212-b10) Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
【2】安装Hadoop
上图所示已经将Hadoop传到了虚拟机，解压安装文件到/opt/module下面
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
将Hadoop添加到环境变量，获取Hadoop安装路径
[root@centos3 hadoop-3.1.3]# pwd /opt/module/hadoop-3.1.3
打开/etc/profile.d/my_env.sh文件
vim /etc/profile.d/my_env.sh
在my_env.sh文件末尾添加如下内容：
#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出： :wq ，让修改后的文件生效
source /etc/profile
测试是否安装成功
[root@centos3 hadoop-3.1.3]# hadoop version Hadoop 3.1.3 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579 Compiled by ztang on 2019-09-12T02:47Z Compiled with protoc 2.5.0 From source with checksum ec785077c385118ac91aadde5ec9799 This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
重启（如果Hadoop命令不能用再重启虚拟机）。
【3】Hadoop目录
查看hadoop目录
[root@centos3 hadoop-3.1.3]# ll total 176 drwxr-xr-x. 2 jane jane 183 Sep 11 2019 bin drwxr-xr-x. 3 jane jane 20 Sep 11 2019 etc drwxr-xr-x. 2 jane jane 106 Sep 11 2019 include drwxr-xr-x. 3 jane jane 20 Sep 11 2019 lib drwxr-xr-x. 4 jane jane 288 Sep 11 2019 libexec -rw-rw-r--. 1 jane jane 147145 Sep 4 2019 LICENSE.txt -rw-rw-r--. 1 jane jane 21867 Sep 4 2019 NOTICE.txt -rw-rw-r--. 1 jane jane 1366 Sep 4 2019 README.txt drwxr-xr-x. 3 jane jane 4096 Sep 11 2019 sbin drwxr-xr-x. 4 jane jane 31 Sep 11 2019 share
bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例
【4】官方WordCount验证
创建在hadoop-3.1.3文件下面创建一个wcinput文件夹
mkdir wcinput
在wcinput文件下创建一个word.txt文件
root@centos3 hadoop-3.1.3]# cd wcinput/ [root@centos3 wcinput]# vim word.txt
编辑word.txt文件，输入如下内容：
hadoop yarn hadoop mapreduce jane jane
保存退出：:wq
回到Hadoop目录/opt/module/hadoop-3.1.3 ,执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
查看结果
[root@centos3 hadoop-3.1.3]# cat wcoutput/part-r-00000 hadoop 2 jane 2 mapreduce 1 yarn 1
查看结果
[root@centos3 hadoop-3.1.3]# cat wcoutput/part-r-00000 hadoop 2 jane 2 mapreduce 1 yarn 1
【5】修改配置文件
配置文件在 /opt/module/hadoop-3.1.3/etc/hadoop 路径下：
[jane@centos3 hadoop]$ ll total 172 -rw-r--r--. 1 jane jane 8260 Sep 11 2019 capacity-scheduler.xml -rw-r--r--. 1 jane jane 1335 Sep 11 2019 configuration.xsl -rw-r--r--. 1 jane jane 1940 Sep 11 2019 container-executor.cfg -rw-r--r--. 1 jane jane 1269 Feb 10 21:27 core-site.xml -rw-r--r--. 1 jane jane 3999 Sep 11 2019 hadoop-env.cmd -rw-r--r--. 1 jane jane 15903 Sep 11 2019 hadoop-env.sh -rw-r--r--. 1 jane jane 3323 Sep 11 2019 hadoop-metrics2.properties -rw-r--r--. 1 jane jane 11392 Sep 11 2019 hadoop-policy.xml -rw-r--r--. 1 jane jane 3414 Sep 11 2019 hadoop-user-functions.sh.example -rw-r--r--. 1 jane jane 1024 Feb 10 21:34 hdfs-site.xml -rw-r--r--. 1 jane jane 1484 Sep 11 2019 httpfs-env.sh -rw-r--r--. 1 jane jane 1657 Sep 11 2019 httpfs-log4j.properties -rw-r--r--. 1 jane jane 21 Sep 11 2019 httpfs-signature.secret -rw-r--r--. 1 jane jane 620 Sep 11 2019 httpfs-site.xml -rw-r--r--. 1 jane jane 3518 Sep 11 2019 kms-acls.xml -rw-r--r--. 1 jane jane 1351 Sep 11 2019 kms-env.sh -rw-r--r--. 1 jane jane 1747 Sep 11 2019 kms-log4j.properties -rw-r--r--. 1 jane jane 682 Sep 11 2019 kms-site.xml -rw-r--r--. 1 jane jane 13326 Sep 11 2019 log4j.properties -rw-r--r--. 1 jane jane 951 Sep 11 2019 mapred-env.cmd -rw-r--r--. 1 jane jane 1764 Sep 11 2019 mapred-env.sh -rw-r--r--. 1 jane jane 4113 Sep 11 2019 mapred-queues.xml.template -rw-r--r--. 1 jane jane 758 Sep 11 2019 mapred-site.xml drwxr-xr-x. 2 jane jane 24 Sep 11 2019 shellprofile.d -rw-r--r--. 1 jane jane 2316 Sep 11 2019 ssl-client.xml.example -rw-r--r--. 1 jane jane 2697 Sep 11 2019 ssl-server.xml.example -rw-r--r--. 1 jane jane 2642 Sep 11 2019 user_ec_policies.xml.template -rw-r--r--. 1 jane jane 10 Sep 11 2019 workers -rw-r--r--. 1 jane jane 2250 Sep 11 2019 yarn-env.cmd -rw-r--r--. 1 jane jane 6056 Sep 11 2019 yarn-env.sh -rw-r--r--. 1 jane jane 2591 Sep 11 2019 yarnservice-log4j.properties -rw-r--r--. 1 jane jane 690 Sep 11 2019 yarn-site.xml
① 修改core-site.xml
<configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.255.130:8020</value> </property> <!-- 指定hadoop数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> <!-- 配置HDFS网页登录使用的静态用户为jane --> <property> <name>hadoop.http.staticuser.user</name> <value>jane</value> </property> </configuration>
② 修改hdfs-site.xml
<configuration> <property> <name>dfs.namenode.http-address</name> <value>192.168.255.130:9870</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.255.130:9868</value> </property> </configuration>
【6】启动hdfs遇到Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)错误
启动之前需要先格式化NameNode，如果忘记则需要要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化
./bin/hdfs namenode -format
[jane@centos3 hadoop-3.1.3]$ ./sbin/start-dfs.sh
注意，使用非root用户启动哦。经查阅应该是ssh下的文件有访问权限限制，这里设置ssh免密登录协议。
操作步骤：
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost ssh-keygen -t rsa 会有提示，都按回车就可以 Generating public/private rsa key pair. Enter file in which to save the key (/home/jane/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/jane/.ssh/id_rsa. Your public key has been saved in /home/jane/.ssh/id_rsa.pub. The key fingerprint is: SHA256:UQ/fmGhcxG/Pf/3+X2e6C+b1O1f5Y2gQX+W438L+QDM jane@centos3 The key's randomart image is: +---[RSA 2048]----+ | ooo | | o *.+ .| | . + =..o.| | o . +..| | S o.E+.| | . o.++| | +.+.X| | o =oO@| | o.*B^| +----[SHA256]-----+ [jane@centos3 .ssh]$ cat id_rsa.pub >> authorized_keys #加入授权
文件权限设置：
[jane@centos3 .ssh]$ chmod 600 ./authorized_keys [jane@centos3 .ssh]$ chmod 644 known_hosts id_rsa.pub [jane@centos3 .ssh]$ chmod 600 id_rsa [jane@centos3 .ssh]$ chmod 700 ~/.ssh
修改sshd_config文件
vim /etc/ssh/sshd_config
实例如下：
HostKey /etc/ssh/ssh_host_rsa_key # 这个可能没有 RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys
重启ssh 服务，我这里环境是Centos7.9
sudo systemctl restart sshd
hdfs的简单操作：
hadoop fs -mkdir /music hadoop fs -put /opt/module/douban_2.csv /music hadoop fs -ls /music
