筹备
参考
Centos镜像下载：http://mirrors.aliyun.com/centos/7/isos/x86_64/
Hadoop下载：https://hadoop.apache.org/releases.html
JDK下载：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
VM下载：https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html
SCP 命令请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第6.2 小节其中的 ：3）通过 scp 传输 host 文件
虚拟机安装Centos此处不详细描述
Centos国内源
请参考我的另一篇文章：
《基于Docker实现Hadoop完全分布式部署》 第2.1 小节
基础工具安装
请参考我的另一篇文章：
《基于Docker实现Hadoop完全分布式部署》 第2.2 小节
准备开发工具
Mysql 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.1 小节
Java 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.2 小节
Python3 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.3 小节
Scala 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.4 小节
Hadoop部署
core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/name</value> </property> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
