Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。 HDFS：分布式存储 MapReduce：分布式计算 Yarn：调度MapReduce
我的操作系统
安装Hadoop
1.安装Jdk
下载并安装
https://www.oracle.com/java/technologies/downloads/
下载自行操作
安装：
解压命令参考：tar -zxvf jdk-xxxx-linux-x64.tar.gz 加入环境变量：vi /etc/profile 生效命令：source /etc/profile
验证安装
2.安装Hadoop
选择一个release版本
https://hadoop.apache.org/releases.html
下载
tar xzf hadoop-3.2.3.tar.gz
解压结果如下
配置本机ssh
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
配置Hadoop环境变量
cat hadoop-3.2.3/etc/hadoop/hadoop-env.sh
配置hdfs地址
vi hadoop-3.2.3/etc/hadoop/core-site.xml
配置hafs分片数
vi hadoop-3.2.3/etc/hadoop/hdfs-site.xml
配置mapreduce
vi hadoop-3.2.3/etc/hadoop/mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value> </property>
配置yarn
vi hadoop-3.2.3/etc/hadoop/mapred-site.xml <!-- configuration 中添加以下配置 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value> </property>
配置User
在sbin/start-dfs.sh，sbin/stop-dfs.sh两个文件顶部添加以下参数
HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
在sbin/start-yarn.sh，sbin/stop-yarn.sh顶部也需添加以下
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
初始化hdfs
cd hadoop-3.2.3/bin/ 直接命令： hdfs namenode -format
- 如果前的xxx-site.xml配置出现问题就会报错，根据错误信息来解决。
启动yarn
cd hadoop-3.2.3/sbin //执行下面start的命令 start-yarn.sh
查看进程
启动hdfs
cd hadoop-3.2.3/sbin start-dfs.sh
JPS进程查看：
3.成功安装
访问Hadoop
http://localhost:9870/dfshealth.html#tab-overview
访问集群：
http://localhost:8088/cluster/cluster
QA
1.参考命令：
现在检查您是否可以在没有密码的情况下 ssh 到 localhost： $ ssh 本地主机 //执行以下命令操作 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
2.mac电脑的配置
一定要开启共享，如果不开会报如下错误：
ssh: connect to host localhost port 22: Connection refused
解决办法是开始共享
