ECS服务器搭建hadoop伪分布式(一)

简介: ECS服务器搭建hadoop伪分布式(一)

前提准备


1)阿里云ECS服务器Centos7.5


2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)


我用的是Bitvise SSH


3)最好会vim操作(不会也没问题)


不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件


4)hadoop-x.x.x.tar.gz  


我用的是  hadoop-2.7.2.tar.gz  


5)一颗想着快照的心,一颗想着快照的心,一颗想着快照的心


搭建细节介绍


打算搭建之前请先快照一下


打算搭建之前请先快照一下


打算搭建之前请先快照一下


注意是在哪个路径下进行一些操作


hadoop我安装在    /opt/module    文件下


我使用的是root用户


如果你发现没有某某文件,就是你当前在的路径不是对


写的优点啰嗦,请注意阅读


搭建流程


将ECS服务器快照一下


创建快照


1.png


回滚快照


23.png


3.png


用SSH软件和ECS服务器建立连接


(无法用语言表达)


安装宝塔界面(宝塔面板和Linux就和应用宝和手机的关系)


在官网最下面有各种Linux系统安装宝塔的代码


yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh


4.png


中间有问你是否yes or no,安装要求输入yes或者y


5.png


到下面就显示成功了,记住下面的url,账号,密码


6.png


把上面的url打开并且输入账号密码就出现下面的图

在箭头处可以修改账号密码


7.png


安装jdk并且配置环境变量


选择安装tomcat就安装好JDK了


8.png


jdk默认安装的路径是下图


9.png


修改/etc/profile文件,在最后,最后,最后加上下面的的java_home配置

通过vim操作或者把文件下载下来修改在上传覆盖


#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin


10.png


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看JDK是否安装成功


java -version


11.png


安装hadoop并且配置环境变量


进入  /opt/ 下创建两个文件夹


[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]#


12.png


用软件将hadoop-2.7.2.tar.gz文件上传到  /opt/software/   下


[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]#


将压缩包解压到   /opt/module/  下


tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/


13.png


获取hadoop安装路径  /opt/module/hadoop=2.7.2


[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#


14.png


配置hadoop环境变量(修改 /etc/profile)(在最后加,和上面的配置JAVA_HOME一样)

可以vim操作,可以将文件下载到本地修改完后在上传覆盖原来的文件


##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看hadoop是否安装成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop


15.png


伪分布式运行模式


修改hadoop的配置文件


修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_121


16.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml


注意:hdfs://abcdefg:9000          abcdefg处填写你的如下图部分


17.png


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>


18.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml


<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>


19.png


启动集群


进入/opt/module/hadoop-2.7.2目录


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2


格式化NameNode(第一次启动时格式化,以后就不要格式化)


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format


启动NameNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode


启动DateNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode


查看是否启动成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps


20.png


web端查看HDFS文件系统


1开放端口9000,50070


见下面常见问题


2 访问url


http://你的IP地址:50070/dfshealth.html#tab-overview


21.png


到这里ECS搭建hadoop伪分布式已经搭建完毕

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
80 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
38 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
60 3
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
47 1
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
52 1
|
6天前
|
弹性计算 运维 安全
阿里云轻量应用服务器与ECS的区别及选择指南
轻量应用服务器和云服务器ECS(Elastic Compute Service)是两款颇受欢迎的产品。本文将对这两者进行详细的对比,帮助用户更好地理解它们之间的区别,并根据自身需求做出明智的选择。
|
7天前
|
SQL 弹性计算 安全
阿里云上云优选与飞天加速计划活动区别及购买云服务器后续必做功课参考
对于很多用户来说,购买云服务器通常都是通过阿里云当下的各种活动来购买,这就有必要了解这些活动的区别,同时由于活动内的云服务器购买之后还需要单独购买并挂载数据盘,还需要设置远程密码以及安全组等操作之后才能正常使用云服务器。本文就为大家介绍一下目前比较热门的上云优选与飞天加速计划两个活动的区别,以及通过活动来购买云服务器之后的一些必做功课,确保云服务器可以正常使用,以供参考。
|
9天前
|
弹性计算 安全 开发工具
灵码评测-阿里云提供的ECS python3 sdk做安全组管理
批量变更阿里云ECS安全组策略(批量变更)
|
27天前
|
存储 人工智能 弹性计算
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理,ECS能显著提升AI系统的性能与效率,降低运营成本,助力科研与企业用户在AI领域取得突破。
46 6
|
4天前
|
机器学习/深度学习 人工智能 编解码
阿里云GPU云服务器优惠收费标准,GPU服务器优缺点与适用场景详解
随着人工智能、大数据分析和高性能计算的发展,对计算资源的需求不断增加。GPU凭借强大的并行计算能力和高效的浮点运算性能,逐渐成为处理复杂计算任务的首选工具。阿里云提供了从入门级到旗舰级的多种GPU服务器,涵盖GN5、GN6、GN7、GN8和GN9系列,分别适用于图形渲染、视频编码、深度学习推理、训练和高性能计算等场景。本文详细介绍各系列的规格、价格和适用场景,帮助用户根据实际需求选择最合适的GPU实例。