ECS服务器搭建hadoop伪分布式(一)

简介: ECS服务器搭建hadoop伪分布式(一)

前提准备


1)阿里云ECS服务器Centos7.5


2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)


我用的是Bitvise SSH


3)最好会vim操作(不会也没问题)


不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件


4)hadoop-x.x.x.tar.gz  


我用的是  hadoop-2.7.2.tar.gz  


5)一颗想着快照的心,一颗想着快照的心,一颗想着快照的心


搭建细节介绍


打算搭建之前请先快照一下


打算搭建之前请先快照一下


打算搭建之前请先快照一下


注意是在哪个路径下进行一些操作


hadoop我安装在    /opt/module    文件下


我使用的是root用户


如果你发现没有某某文件,就是你当前在的路径不是对


写的优点啰嗦,请注意阅读


搭建流程


将ECS服务器快照一下


创建快照


1.png


回滚快照


23.png


3.png


用SSH软件和ECS服务器建立连接


(无法用语言表达)


安装宝塔界面(宝塔面板和Linux就和应用宝和手机的关系)


在官网最下面有各种Linux系统安装宝塔的代码


yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh


4.png


中间有问你是否yes or no,安装要求输入yes或者y


5.png


到下面就显示成功了,记住下面的url,账号,密码


6.png


把上面的url打开并且输入账号密码就出现下面的图

在箭头处可以修改账号密码


7.png


安装jdk并且配置环境变量


选择安装tomcat就安装好JDK了


8.png


jdk默认安装的路径是下图


9.png


修改/etc/profile文件,在最后,最后,最后加上下面的的java_home配置

通过vim操作或者把文件下载下来修改在上传覆盖


#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin


10.png


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看JDK是否安装成功


java -version


11.png


安装hadoop并且配置环境变量


进入  /opt/ 下创建两个文件夹


[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]#


12.png


用软件将hadoop-2.7.2.tar.gz文件上传到  /opt/software/   下


[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]#


将压缩包解压到   /opt/module/  下


tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/


13.png


获取hadoop安装路径  /opt/module/hadoop=2.7.2


[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#


14.png


配置hadoop环境变量(修改 /etc/profile)(在最后加,和上面的配置JAVA_HOME一样)

可以vim操作,可以将文件下载到本地修改完后在上传覆盖原来的文件


##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


让修改后的文件生效


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile


查看hadoop是否安装成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop


15.png


伪分布式运行模式


修改hadoop的配置文件


修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_121


16.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml


注意:hdfs://abcdefg:9000          abcdefg处填写你的如下图部分


17.png


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>


18.png


修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml


<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>


19.png


启动集群


进入/opt/module/hadoop-2.7.2目录


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2


格式化NameNode(第一次启动时格式化,以后就不要格式化)


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format


启动NameNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode


启动DateNode


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode


查看是否启动成功


[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps


20.png


web端查看HDFS文件系统


1开放端口9000,50070


见下面常见问题


2 访问url


http://你的IP地址:50070/dfshealth.html#tab-overview


21.png


到这里ECS搭建hadoop伪分布式已经搭建完毕

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
33 3
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
57 3
|
1月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
39 1
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
47 1
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
149 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
65 2
|
18天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
63 2
|
19天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
57 1
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
55 1