MacOs首次安装单机Hadoop

2022-05-01 396

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Apache Hadoop项目为可靠、可扩展的分布式计算开发开源软件。Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。（原文翻译）访问：https://hadoop.apache.org/安装设备个人macbookpro Mac-Os11+

Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。
HDFS：分布式存储
MapReduce：分布式计算
Yarn：调度MapReduce

我的操作系统

安装Hadoop

1.安装Jdk

下载并安装
https://www.oracle.com/java/technologies/downloads/

下载自行操作

安装：

解压命令参考：tar -zxvf jdk-xxxx-linux-x64.tar.gz
加入环境变量：vi /etc/profile
生效命令：source  /etc/profile

验证安装

2.安装Hadoop

选择一个release版本

https://hadoop.apache.org/releases.html

下载

tar xzf hadoop-3.2.3.tar.gz

解压结果如下

配置本机ssh

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

配置Hadoop环境变量

cat hadoop-3.2.3/etc/hadoop/hadoop-env.sh

配置hdfs地址

vi hadoop-3.2.3/etc/hadoop/core-site.xml

配置hafs分片数

vi hadoop-3.2.3/etc/hadoop/hdfs-site.xml

配置mapreduce

vi hadoop-3.2.3/etc/hadoop/mapred-site.xml
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>

配置yarn

vi hadoop-3.2.3/etc/hadoop/mapred-site.xml
<!-- configuration 中添加以下配置  -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

配置User

在sbin/start-dfs.sh，sbin/stop-dfs.sh两个文件顶部添加以下参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在sbin/start-yarn.sh，sbin/stop-yarn.sh顶部也需添加以下

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

初始化hdfs

cd hadoop-3.2.3/bin/ 
直接命令：  hdfs namenode -format

如果前的xxx-site.xml配置出现问题就会报错，根据错误信息来解决。

启动yarn

cd hadoop-3.2.3/sbin
//执行下面start的命令
start-yarn.sh

查看进程

启动hdfs

cd hadoop-3.2.3/sbin
start-dfs.sh

JPS进程查看：

3.成功安装

访问Hadoop

http://localhost:9870/dfshealth.html#tab-overview

访问集群：

http://localhost:8088/cluster/cluster

QA

1.参考命令：

现在检查您是否可以在没有密码的情况下 ssh 到 localhost：
$ ssh 本地主机
//执行以下命令操作
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2.mac电脑的配置

一定要开启共享，如果不开会报如下错误：

ssh: connect to host localhost port 22: Connection refused

解决办法是开始共享