我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境

简介: 我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境

前言

最近在和粉丝的交流中,说到白嫖的服务器还没开始用,这里我提供一种使用方式:

她提到伪分布式部署Hadoop的概念启发了我。

由于我接的私活经常需要使用到Hadoop集群,本地启动有启动速度慢、操作麻烦和占用内存等诟病,

有鉴于此何不部署云集群,选择的是Hadoop3.x的伪分布式部署方法。


1. 白嫖服务器

之前发过一篇白嫖服务器的指南:

阿里云双十一服务器注册流程

不过现在活动结束了。当然如果你是学生,买服务器还是很便宜的,只需要9.9元/月,

阿里云开发者成长计划

2. 服务器选择和配置

这里选择的是轻量服务器,系统镜像和应用镜像不需要改变,保持默认值就行(WordPress, CentOS 7.3)

这里需要设置root权限和密码

设置成功后通过本地terminal(MAC)或者cmd(Windows)来构建ssh

ssh root@****

然后输入之前设置的root的权限的密码(注意:这里的密码是不会有任何显示的)

若出现上图的情况,需要清理一下之前的key

ssh-keygen -R XX.XX.XX.XX

然后再次用ssh连接,然后yes

好,到此我们进入到了阿里云的服务器

3. 我们开始配置java环境

首先下载java的jdk

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

然后解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动位置并且配置java路径

mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

检查是否安装成功

java -version

这是理想情况,若安装成功会出现如下结果

4. 我们进行Hadoop的安装

# 借助清华源下载Hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
#这儿是清华的镜像源,国内的小伙伴下载比较快

按照惯例解压

tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop

hadoop2.x(2022.06.12更新)

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

配置地址

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

配置yarn和hadoop

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

查看Hadoop 安装情况

hadoop version

若出现上图情况,则说明安装成功

5. 接下来需要利用vim来操作core-site 和 hdfs-site

vim /opt/hadoop/etc/hadoop/core-site.xml

进入vim环境

按下i(insert)修改

光标移动至configuration之间,复制如下的信息

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

然后按下esc,停止修改,然后打":wq"(实际无“”)退出vim修改

同理操作hdfs-site

vim /opt/hadoop/etc/hadoop/hdfs-site.xml
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

配置master和slave连接,运行如下指令,并且一直回车,直至出现如下图

ssh-keygen -t rsa 

运行如下代码

cd .ssh
cat id_rsa.pub >> authorized_keys

启动Hadoop

hadoop namenode -format
start-dfs.sh
start-yarn.sh
踩坑:
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation

这里踩了一个小坑,

解决方案:

https://blog.csdn.net/ystyaoshengting/article/details/103026872

查看是否配置成功

jps

成功图

6. 注意:接下来需要开启你在阿里云的防火墙端口,才可以在浏览器上访问,否则你怎么弄都是访问不到

最后你就可以在浏览器输入XX.XX.XX.XX**:9870 或者**XX.XX.XX.XX:8088来在浏览器上访问你的Hadoop

效果图如下

以及

HDFSAPI(新)

格式化一下

hdfs namenode -format 
hadoop-daemon.sh start namenode 

https://manor.blog.csdn.net/article/details/122017204


目录
相关文章
|
1月前
|
存储 网络协议 Ubuntu
Linux环境下的SVN服务器搭建并结合内网穿透实现远程连接
Linux环境下的SVN服务器搭建并结合内网穿透实现远程连接
|
2月前
|
关系型数据库 MySQL Linux
centos7.0环境下安装MySql_8.0.12
centos7.0环境下安装MySql_8.0.12
|
2月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
60 0
|
9天前
|
开发框架 JavaScript 中间件
node+express搭建服务器环境
node+express搭建服务器环境
node+express搭建服务器环境
|
1月前
|
存储 JavaScript Linux
Linux环境下安装nmp(Centos环境)保姆级教学 一步到位
Linux环境下安装nmp(Centos环境)保姆级教学 一步到位
|
2月前
|
关系型数据库 MySQL Linux
CentOS7环境下安装MySQL5.6
CentOS7环境下安装MySQL5.6
194 0
|
1天前
|
应用服务中间件 Linux 开发工具
如何在阿里云服务器快速搭建部署Nginx环境
以下是内容的摘要: 本文档主要介绍了在阿里云上购买和配置服务器的步骤,包括注册阿里云账号、实名认证、选择和购买云服务器、配置安全组、使用Xshell和Xftp进行远程连接和文件传输,以及安装和配置Nginx服务器的过程。在完成这些步骤后,你将能够在服务器上部署和运行自己的网站或应用。
|
2天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
12 3
|
1月前
|
Oracle 关系型数据库 Linux
服务器Centos7 静默安装Oracle Database 12.2
服务器Centos7 静默安装Oracle Database 12.2
71 0
|
1月前
|
存储 弹性计算 Linux
阿里云ECS(CentOS镜像)安装docker
阿里云ECS(CentOS镜像)安装docker
373 0

热门文章

最新文章