D001.7 Docker搭建Hadoop集群(实践篇)

简介: 环境及资源准备;生成容器;检验Hadoop

0x01 环境及资源准备


1. 安装Docker

请参考:D001.5 Docker入门(超级详细基础篇)的“0x01 Docker的安装”小节

2. 准备资源

根据文末总结的文件目录结构,拷贝文章的资源,资源请参考:D001.6 Docker搭建Hadoop集群


0x02 生成容器

1. 生成样本镜像

a. 切换成root用户(密码:shaonaiyi)

su root


20190114142625989.png


b. 拷贝资源文件hadoop进到docker_bigdata目录(此处使用Xftp软件)

mkdir docker_bigdata


20190114142948192.png


c. 生成样本镜像:shaonaiyi/hadoop

cd docker_bigdata/hadoop

docker build -t shaonaiyi/hadoop .


此过程时间根据自己网络情况与自己装docker时的配置有关(10分钟左右)


20190114144238793.png


出现下图表示成功:


20190114150938324.png


2. 创建bigdata网络

a. 修改脚本权限

chmod 700 build_network.sh

b. 创建网络

./build_network.sh

修改及创建后如图:


20190114151127117.png


3. 启动容器


a. 修改脚本权限

cd config

chmod 700 start_containers.sh

b. 启动容器(映射的端口多的为master)

./start_containers.sh


20190114151403765.png


0x03 检验Hadoop


1. 启动Hadoop


a. 查看启动的容器

docker ps

b. 进入容器hadoop-maste(注意修改成自己的容器ID)

docker attach c49b5823737a

c. 修改脚本执行权限

ll

chmod 700 start-hadoop.sh

d. 启动Hadoop集群

./start-hadoop.sh

执行成功截图为:

20190114151915256.png


2. Web UI界面查看

a. 切换终端,查看端口映射(可看到51070端口映射到docker的50070端口)

docker port hadoop-maste


20190114152335172.png


b. 在我们的windows系统执行(ip:51070)


20190114152448287.png


2. 停止并删除容器指令

a. 修改脚本权限

cd /home/shaonaiyi/docker_bigdata/hadoop/config/

chmod 700 stop_containers.sh

b. 删除容器

./stop_containers.sh

c. 查看执行的容器(没有则表示删除成功)

docker ps


20190114152932256.png


0xFF 总结

本文为搭建Hadoop集群的实践篇,注意分清Windows、Centos、Docker的层次关系

相关文章
|
1月前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
54 3
|
5天前
|
存储 Ubuntu Linux
Docker 从入门到实践:Docker介绍
Docker 从入门到实践:Docker介绍
|
6天前
|
监控 Docker 容器
【Docker 专栏】Docker Swarm 集群的扩展与缩容策略
【5月更文挑战第8天】本文探讨了Docker Swarm集群的扩展与缩容策略。集群扩展可提高性能、增强可用性和适应业务发展,可通过手动或自动方式实现。缩容则需考虑业务需求、资源利用率和节点状态,可手动或按策略执行。关键步骤包括添加/移除节点及任务迁移。注意数据同步、监控评估和测试验证。案例分析和总结强调了灵活管理对保持集群最佳状态的重要性。
【Docker 专栏】Docker Swarm 集群的扩展与缩容策略
|
18天前
|
算法 Nacos Docker
docker部署nacos集群
docker部署nacos集群
27 0
|
18天前
|
NoSQL Redis Docker
使用Docker搭建Redis主从集群
使用Docker搭建Redis主从集群
32 1
|
20天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
25天前
|
存储 Kubernetes Docker
构建高效稳定的Docker容器集群:从原理到实践
【4月更文挑战第19天】 在当今微服务架构盛行的时代,容器化技术已经成为了软件开发和部署的标准实践。本文深入探讨了如何利用Docker容器技术,结合Kubernetes集群管理工具,构建一个高效、稳定且可扩展的容器化环境。文章首先简述了Docker的核心原理及其优势,接着详细阐述了Kubernetes的基本概念与组件,最后通过一个实际案例来指导读者如何从零开始搭建并优化一个基于Docker和Kubernetes的容器集群系统。
23 1
|
25天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
|
25天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
26天前
|
存储 分布式计算 Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展(增强单节点资源)和水平扩展(增加节点数量)来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性,并根据需求调整以提升集群性能和效率。
22 1