ECS服务器搭建hadoop伪分布式(一)

简介: ECS服务器搭建hadoop伪分布式(一)

前提准备


1)阿里云ECS服务器Centos7.5


2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)


我用的是Bitvise SSH


3)最好会vim操作(不会也没问题)


不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件


4)hadoop-x.x.x.tar.gz  


我用的是  hadoop-2.7.2.tar.gz  


5)一颗想着快照的心,一颗想着快照的心,一颗想着快照的心


搭建细节介绍


打算搭建之前请先快照一下


打算搭建之前请先快照一下


打算搭建之前请先快照一下


注意是在哪个路径下进行一些操作


hadoop我安装在    /opt/module    文件下


我使用的是root用户


如果你发现没有某某文件,就是你当前在的路径不是对


写的优点啰嗦,请注意阅读


搭建流程


将ECS服务器快照一下


创建快照


1.png


回滚快照


23.png


3.png


用SSH软件和ECS服务器建立连接


(无法用语言表达)


安装宝塔界面(宝塔面板和Linux就和应用宝和手机的关系)


在官网最下面有各种Linux系统安装宝塔的代码


yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh


4.png


中间有问你是否yes or no,安装要求输入yes或者y


5.png


到下面就显示成功了,记住下面的url,账号,密码


6.png


把上面的url打开并且输入账号密码就出现下面的图

在箭头处可以修改账号密码


7.png


安装jdk并且配置环境变量


选择安装tomcat就安装好JDK了


8.png


jdk默认安装的路径是下图


9.png


修改/etc/profile文件,在最后,最后,最后加上下面的的java_home配置

通过vim操作或者把文件下载下来修改在上传覆盖


#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin


10.png


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看JDK是否安装成功


java -version


11.png


安装hadoop并且配置环境变量


进入  /opt/ 下创建两个文件夹


[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]#


12.png


用软件将hadoop-2.7.2.tar.gz文件上传到  /opt/software/   下


[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]#


将压缩包解压到   /opt/module/  下


tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/


13.png


获取hadoop安装路径  /opt/module/hadoop=2.7.2


[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#


14.png


配置hadoop环境变量(修改 /etc/profile)(在最后加,和上面的配置JAVA_HOME一样)

可以vim操作,可以将文件下载到本地修改完后在上传覆盖原来的文件


##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看hadoop是否安装成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop


15.png


伪分布式运行模式


修改hadoop的配置文件


修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_121


16.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml


注意:hdfs://abcdefg:9000          abcdefg处填写你的如下图部分


17.png


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>


18.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml


<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>


19.png


启动集群


进入/opt/module/hadoop-2.7.2目录


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2


格式化NameNode(第一次启动时格式化,以后就不要格式化)


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format


启动NameNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode


启动DateNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode


查看是否启动成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps


20.png


web端查看HDFS文件系统


1开放端口9000,50070


见下面常见问题


2 访问url


http://你的IP地址:50070/dfshealth.html#tab-overview


21.png


到这里ECS搭建hadoop伪分布式已经搭建完毕

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
92 4
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
43 3
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
65 3
|
3月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
52 1
|
3月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
62 1
|
3天前
|
机器学习/深度学习 人工智能 PyTorch
阿里云GPU云服务器怎么样?产品优势、应用场景介绍与最新活动价格参考
阿里云GPU云服务器怎么样?阿里云GPU结合了GPU计算力与CPU计算力,主要应用于于深度学习、科学计算、图形可视化、视频处理多种应用场景,本文为您详细介绍阿里云GPU云服务器产品优势、应用场景以及最新活动价格。
阿里云GPU云服务器怎么样?产品优势、应用场景介绍与最新活动价格参考
|
2天前
|
存储 运维 安全
阿里云弹性裸金属服务器是什么?产品规格及适用场景介绍
阿里云服务器ECS包括众多产品,其中弹性裸金属服务器(ECS Bare Metal Server)是一种可弹性伸缩的高性能计算服务,计算性能与传统物理机无差别,具有安全物理隔离的特点。分钟级的交付周期将提供给您实时的业务响应能力,助力您的核心业务飞速成长。本文为大家详细介绍弹性裸金属服务器的特点、优势以及与云服务器的对比等内容。
|
10天前
|
人工智能 JSON Linux
利用阿里云GPU加速服务器实现pdf转换为markdown格式
随着AI模型的发展,GPU需求日益增长,尤其是个人学习和研究。直接购置硬件成本高且更新快,建议选择阿里云等提供的GPU加速型服务器。
利用阿里云GPU加速服务器实现pdf转换为markdown格式
|
9天前
|
开发框架 缓存 .NET
阿里云轻量应用服务器、经济型e、通用算力型u1实例怎么选?区别及选择参考
在阿里云目前的活动中,价格比较优惠的云服务器有轻量应用服务器2核2G3M带宽68元1年,经济型e实例2核2G3M带宽99元1年,通用算力型u1实例2核4G5M带宽199元1年,这几个云服务器是用户关注度最高的。有的新手用户由于是初次使用阿里云服务器,对于轻量应用服务器、经济型e、通用算力型u1实例的相关性能并不是很清楚,本文为大家做个简单的介绍和对比,以供参考。
|
17天前
|
弹性计算 运维 安全
阿里云轻量应用服务器与ECS的区别及选择指南
轻量应用服务器和云服务器ECS(Elastic Compute Service)是两款颇受欢迎的产品。本文将对这两者进行详细的对比,帮助用户更好地理解它们之间的区别,并根据自身需求做出明智的选择。