使用阿里云服务器通过Docker环境搭建Hadoop集群常见的问题

简介: 使用云服务器利用Docker环境搭建Hadoop集群常见的问题通过同学介绍了解到了阿里云服务器,由于在虚拟机上搭建Hadoop占用太多的内存,且运行速度较慢,所以尝试使用服务器进行搭建。我选择的是Linux的centos7,使用xshell工具连接服务器,操作更加方便。

使用云服务器利用Docker环境搭建Hadoop集群常见的问题
通过同学介绍了解到了阿里云服务器,由于在虚拟机上搭建Hadoop占用太多的内存,且运行速度较慢,所以尝试使用服务器进行搭建。
我选择的是Linux的centos7,使用xshell工具连接服务器,操作更加方便。
在此,我主要是描述一下,在使用过程中遇到的一些问题。
1.部署Docker环境
我是通过阿里云的官方教程文档,进行的Docker环境搭建,官方文档里的每一个步骤很详细,就算是新手搭建起来页没有任何困难。在这里我就不详细说了。
我们使用Xshell连接到服务器是,要注意要在实例中找到“更多”里面的“安全组配置”。

找到“配置规则”。

在“快速添加”中,将SSH和HTTP端口打开,不然无法使用Xshell连接服务器。

2.在Docker中拉取centos7的镜像
使用docker pull centos命令拉取镜像,Docker通过读取Dockerfile中的指令,自动构建镜像。但是在编辑Dockerfile文件的时候要注意centos镜像的版本问题,因为centos8的镜像在2021年12月底停止维护,我们在拉取镜像的时候,默认拉取的是最新版本,所以在后面会又失败信息。
修改拉取的镜像的版本信息,只需要在编辑Dockerfile时,将第一行FROM centos改为FROM centos:centos7。在后面执行构建命令的时候就不会报错。

拉取完镜像之后吗,我们执行构建命令,docker build -t="hadoop" 。然后,执行以下命令运行容器。当我们需要的容器搭建好以后,我们就可以搭建Hadoop集群。
docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 hadoop
docker run --name hadoop1 --hostname hadoop1 -d -P hadoop
docker run --name hadoop2 --hostname hadoop2 -d -P hadoop
3.搭建Hadoop集群
在docker环境中搭建集群,我们还需要下载一些经常使用的工具包和配置一些常用的命令。
安装vim、net-tools:yum install vim yum install net-tools
配置ll命令:vim ~/.bashrc进入配置文件,添加alias ll='ls -l'内容,最后source ~/.bashrc使命令生效。
其余操作跟在虚拟机中进行Hadoop集群的搭建过程一致。
如果使用wget命令下载jdk、hadoop,我们需要修改为国内的镜像,并且在命令后面加上“--no-check-certificate”,以不安全的方式连接。
4.总结
只有不断的试错,才能更好的进步。从错误中学习,搞懂每一个知识点,每天一条命令。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 Linux Docker
docker在欧拉服务器上编译安装应该注意什么?如何操作?
【10月更文挑战第31天】docker在欧拉服务器上编译安装应该注意什么?如何操作?
89 2
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
199 6
|
2月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
514 3
|
2月前
|
弹性计算 数据库连接 Nacos
阿里云ECS服务器在docker中部署nacos
docker pull nacos 失败,docker部署nacos遇到的问题,nacos数据库连接,nacos端口映射
230 1
|
2月前
|
网络安全 虚拟化 Docker
SSH后判断当前服务器是云主机、物理机、虚拟机、docker环境
结合上述方法,您可以对当前环境进行较为准确的判断。重要的是理解每种环境的特征,并通过系统的响应进行综合分析。如果在Docker容器内,通常会有明显的环境标志和受限的资源视图;而在云主机或虚拟机上,虽然它们也可能是虚拟化的,但通常提供更接近物理机的体验,且可通过硬件标识来识别虚拟化平台。物理机则直接反映硬件真实信息,较少有虚拟化痕迹。通过这些线索,您应该能够定位到您所处的环境类型。
68 2
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
40 3
|
2月前
|
前端开发 Docker 容器
主机host服务器和Docker容器之间的文件互传方法汇总
Docker 成为前端工具,可实现跨设备兼容。本文介绍主机与 Docker 容器/镜像间文件传输的三种方法:1. 构建镜像时使用 `COPY` 或 `ADD` 指令;2. 启动容器时使用 `-v` 挂载卷;3. 运行时使用 `docker cp` 命令。每种方法适用于不同场景,如静态文件打包、开发时文件同步及临时文件传输。注意权限问题、容器停止后的文件传输及性能影响。
601 0
|
2月前
|
网络安全 Docker 容器
【Bug修复】秒杀服务器异常,轻松恢复网站访问--从防火墙到Docker服务的全面解析
【Bug修复】秒杀服务器异常,轻松恢复网站访问--从防火墙到Docker服务的全面解析
50 0
|
6天前
|
人工智能 JSON Linux
利用阿里云GPU加速服务器实现pdf转换为markdown格式
随着AI模型的发展,GPU需求日益增长,尤其是个人学习和研究。直接购置硬件成本高且更新快,建议选择阿里云等提供的GPU加速型服务器。
利用阿里云GPU加速服务器实现pdf转换为markdown格式
|
5天前
|
开发框架 缓存 .NET
阿里云轻量应用服务器、经济型e、通用算力型u1实例怎么选?区别及选择参考
在阿里云目前的活动中,价格比较优惠的云服务器有轻量应用服务器2核2G3M带宽68元1年,经济型e实例2核2G3M带宽99元1年,通用算力型u1实例2核4G5M带宽199元1年,这几个云服务器是用户关注度最高的。有的新手用户由于是初次使用阿里云服务器,对于轻量应用服务器、经济型e、通用算力型u1实例的相关性能并不是很清楚,本文为大家做个简单的介绍和对比,以供参考。