HADOOP-3.1.0-----HDFS基础配置
执行步骤：（1）配置集群（2）启动、测试集群增、删、查（3）执行wordcount案例
一、配置集群
1.在 hadoop-env.sh配置文件添加 jdk绝对路径 export JAVA_HOME=/opt/module/jdk1.8.0_181
配置文件位置：/opt/module/hadoop-3.1.0/etc/hadoop/ ，hadoop安装路径下，后文不再叙述。
2.配置 core-site.xml
<!-- 指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
3.配置hdfs.site.xml
<!-- 指定HDFS副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.配置ssh免密登录
https://www.cnblogs.com/jin-nuo/p/9430066.html
二、启动集群
1.格式化NameNode（第一次启动时格式化，以后就不要总格式化，频繁格式化会造成namenode_id和datanode_id不一致）
bin/hdfs namenode -format
2.启动NameNode和DataNode
hdfs --daemon start namenode
hdfs --daemon start datanode
3.jps+回车 查看是否启动
web端查看HDFS文件系统http://ip:9870/
3.0之前版本端口：50070
三、测试案例
1.在hdfs文件系统上创建一个input文件夹
hdfs dfs -mkdir -p /user/atguigu/input
2.将测试文件内容上传到文件系统上
hdfs dfs -put wcinput/wc.input /user/atguigu/input/
3.查看上传的文件是否正确
hdfs dfs -ls /user/atguigu/input/
hdfs dfs -cat /user/atguigu/ input/wc.input
4.运行mapreduce程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output
5.查看输出结果
hdfs dfs -cat /user/atguigu/output/*
6.将测试文件内容下载到本地
hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/
7.删除输出结果
hdfs dfs -rm -r /user/atguigu/output
