ECS服务器搭建hadoop伪分布式(一)

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: ECS服务器搭建hadoop伪分布式(一)

前提准备


1)阿里云ECS服务器Centos7.5


2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)


我用的是Bitvise SSH


3)最好会vim操作(不会也没问题)


不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件


4)hadoop-x.x.x.tar.gz  


我用的是  hadoop-2.7.2.tar.gz  


5)一颗想着快照的心,一颗想着快照的心,一颗想着快照的心


搭建细节介绍


打算搭建之前请先快照一下


打算搭建之前请先快照一下


打算搭建之前请先快照一下


注意是在哪个路径下进行一些操作


hadoop我安装在    /opt/module    文件下


我使用的是root用户


如果你发现没有某某文件,就是你当前在的路径不是对


写的优点啰嗦,请注意阅读


搭建流程


将ECS服务器快照一下


创建快照


1.png


回滚快照


23.png


3.png


用SSH软件和ECS服务器建立连接


(无法用语言表达)


安装宝塔界面(宝塔面板和Linux就和应用宝和手机的关系)


在官网最下面有各种Linux系统安装宝塔的代码


yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh


4.png


中间有问你是否yes or no,安装要求输入yes或者y


5.png


到下面就显示成功了,记住下面的url,账号,密码


6.png


把上面的url打开并且输入账号密码就出现下面的图

在箭头处可以修改账号密码


7.png


安装jdk并且配置环境变量


选择安装tomcat就安装好JDK了


8.png


jdk默认安装的路径是下图


9.png


修改/etc/profile文件,在最后,最后,最后加上下面的的java_home配置

通过vim操作或者把文件下载下来修改在上传覆盖


#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin


10.png


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看JDK是否安装成功


java -version


11.png


安装hadoop并且配置环境变量


进入  /opt/ 下创建两个文件夹


[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]#


12.png


用软件将hadoop-2.7.2.tar.gz文件上传到  /opt/software/   下


[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]#


将压缩包解压到   /opt/module/  下


tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/


13.png


获取hadoop安装路径  /opt/module/hadoop=2.7.2


[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#


14.png


配置hadoop环境变量(修改 /etc/profile)(在最后加,和上面的配置JAVA_HOME一样)

可以vim操作,可以将文件下载到本地修改完后在上传覆盖原来的文件


##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看hadoop是否安装成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop


15.png


伪分布式运行模式


修改hadoop的配置文件


修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_121


16.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml


注意:hdfs://abcdefg:9000          abcdefg处填写你的如下图部分


17.png


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>


18.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml


<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>


19.png


启动集群


进入/opt/module/hadoop-2.7.2目录


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2


格式化NameNode(第一次启动时格式化,以后就不要格式化)


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format


启动NameNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode


启动DateNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode


查看是否启动成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps


20.png


web端查看HDFS文件系统


1开放端口9000,50070


见下面常见问题


2 访问url


http://你的IP地址:50070/dfshealth.html#tab-overview


21.png


到这里ECS搭建hadoop伪分布式已经搭建完毕

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
目录
相关文章
|
6天前
|
弹性计算 Ubuntu Linux
幻兽帕鲁/Palworld服务器怎么搭建?2024年幻兽帕鲁/Palworld服务器搭建攻略大全
在帕鲁的世界,你可以选择与神奇的生物「帕鲁」一同享受悠闲的生活,为了实现自动化,将手工作业交给帕鲁就尤为重要。建造工厂,并安排帕鲁在其中工作吧。只要有足够的食物,帕鲁就可以不断地工作,直到它们生命的尽头。很多玩家想要搭建幻兽帕鲁服务器但是很多玩家不清楚幻兽帕鲁服务器怎么创建,现在就为大家带来幻兽帕鲁/Palworld服务器怎么搭建?2024年幻兽帕鲁/Palworld服务器搭建攻略大全。就让我们一起进入《幻兽帕鲁》的世界,与好友们组队,开启属于我们自己的冒险吧!在这个充满未知与挑战的游戏世界里,让我们一起创造更多美好的回忆!
|
5天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
15 0
|
6天前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
9 2
|
6天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
23 3
|
6天前
|
弹性计算 Ubuntu Linux
幻兽帕鲁Palworld服务器搭建教程,2024年阿里云部署帕鲁服务器保姆级方法
对于热爱《幻兽帕鲁》的玩家们来说,能够拥有属于自己的游戏服务器,无疑是提升了游戏的自由度和乐趣。那么,怎样才能部署幻兽帕鲁服务器呢?接下来,就让我们一起走进这个简单易懂、保姆级的教程吧!
123 0
|
6天前
|
弹性计算 固态存储 Linux
阿里云怎样搭建幻兽帕鲁联机服务器,幻兽帕鲁服务器搭建全流程分享
幻兽帕鲁作为近期大热的游戏,吸引了无数玩家的目光。很多小伙伴都希望能够搭建属于自己的服务器,与朋友们一起畅快游戏。那么,该如何快速搭建幻兽帕鲁服务器呢?下面就来为大家详细介绍一下。
85 0
|
6天前
|
弹性计算
2024年幻兽帕鲁/Palworld游戏专用服务器搭建步骤(阿里云一键搭建帕鲁服务器)
《幻兽帕鲁》这款游戏自推出以来,便以其独特的联机对战模式赢得了玩家们的广泛喜爱。然而,联机过程中常常遇到的服务器卡顿、延迟高等问题,让许多玩家倍感困扰。为了解决这个问题,阿里云为《幻兽帕鲁》的玩家们提供了一种便捷且高效的解决方案:通过阿里云一键搭建云服务器,轻松优化游戏体验。
|
6天前
|
弹性计算 安全 数据安全/隐私保护
幻兽帕鲁服务器怎么搭建:2024年阿里云帕鲁联机服务器搭建详细教程
想要搭建一个稳定、流畅的服务器,与全球的玩家们一同探索帕鲁世界吗?下面,就为大家带来一份详细的服务器搭建教程!
44 3
|
6天前
|
弹性计算 Linux 数据安全/隐私保护
最强32人幻兽帕鲁服务器搭建教程by阿里云服务器
最强32人幻兽帕鲁服务器搭建教程by阿里云服务器,幻兽帕鲁Palworld多人游戏专用服务器一键部署教程,阿里云推出新手0基础一键部署幻兽帕鲁服务器教程,傻瓜式一键部署,3分钟即可成功创建一台Palworld专属服务器,成本仅需26元,阿里云百科分享2024年新版基于阿里云搭建幻兽帕鲁服务器教程
最强32人幻兽帕鲁服务器搭建教程by阿里云服务器
|
6天前
|
弹性计算 Linux Windows
Palworld/幻兽帕鲁服务器怎么创建?Palworld/幻兽帕鲁服务器搭建图文步骤分享
《幻兽帕鲁》作为2024年的开年热门游戏,为玩家们带来了奇妙的游戏世界和丰富多样的游戏体验。在这个游戏中,与小伙伴们一同畅游并共同体验冒险与探险的乐趣,不仅能够增加游戏的社交互动和乐趣,还能够建立深厚的友谊。当然大家还可以搭建自己的服务器与好友进行游玩,不知道怎么搭建的小伙伴可以参考以下内容。以下内容就是幻兽帕鲁服务器怎么创?幻兽帕鲁服务器搭建图文步骤分享的详细资讯。