D001.7 Docker搭建Hadoop集群(实践篇)

简介: 环境及资源准备;生成容器;检验Hadoop

0x01 环境及资源准备


1. 安装Docker

请参考:D001.5 Docker入门(超级详细基础篇)的“0x01 Docker的安装”小节

2. 准备资源

根据文末总结的文件目录结构,拷贝文章的资源,资源请参考:D001.6 Docker搭建Hadoop集群


0x02 生成容器

1. 生成样本镜像

a. 切换成root用户(密码:shaonaiyi)

su root


20190114142625989.png


b. 拷贝资源文件hadoop进到docker_bigdata目录(此处使用Xftp软件)

mkdir docker_bigdata


20190114142948192.png


c. 生成样本镜像:shaonaiyi/hadoop

cd docker_bigdata/hadoop

docker build -t shaonaiyi/hadoop .


此过程时间根据自己网络情况与自己装docker时的配置有关(10分钟左右)


20190114144238793.png


出现下图表示成功:


20190114150938324.png


2. 创建bigdata网络

a. 修改脚本权限

chmod 700 build_network.sh

b. 创建网络

./build_network.sh

修改及创建后如图:


20190114151127117.png


3. 启动容器


a. 修改脚本权限

cd config

chmod 700 start_containers.sh

b. 启动容器(映射的端口多的为master)

./start_containers.sh


20190114151403765.png


0x03 检验Hadoop


1. 启动Hadoop


a. 查看启动的容器

docker ps

b. 进入容器hadoop-maste(注意修改成自己的容器ID)

docker attach c49b5823737a

c. 修改脚本执行权限

ll

chmod 700 start-hadoop.sh

d. 启动Hadoop集群

./start-hadoop.sh

执行成功截图为:

20190114151915256.png


2. Web UI界面查看

a. 切换终端,查看端口映射(可看到51070端口映射到docker的50070端口)

docker port hadoop-maste


20190114152335172.png


b. 在我们的windows系统执行(ip:51070)


20190114152448287.png


2. 停止并删除容器指令

a. 修改脚本权限

cd /home/shaonaiyi/docker_bigdata/hadoop/config/

chmod 700 stop_containers.sh

b. 删除容器

./stop_containers.sh

c. 查看执行的容器(没有则表示删除成功)

docker ps


20190114152932256.png


0xFF 总结

本文为搭建Hadoop集群的实践篇,注意分清Windows、Centos、Docker的层次关系

相关文章
|
1月前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
95 2
|
2月前
|
网络安全 Docker 容器
|
20天前
|
Prometheus 监控 Cloud Native
如何使用Prometheus监控Docker Swarm集群的资源使用情况?
还可以根据实际需求进行进一步的配置和优化,如设置告警规则,当资源使用超出阈值时及时发出警报。通过这些步骤,能够有效地使用 Prometheus 对 Docker Swarm 集群的资源进行监控和管理。
38 8
|
20天前
|
Prometheus 监控 Cloud Native
如何监控Docker Swarm集群的性能?
如何监控Docker Swarm集群的性能?
67 8
|
20天前
|
监控 Docker 容器
Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项
本文深入探讨了Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项,旨在帮助用户高效管理集群资源,适应业务变化,确保服务稳定性和资源优化。
42 6
|
23天前
|
安全 持续交付 Docker
深入理解并实践容器化技术——Docker 深度解析
深入理解并实践容器化技术——Docker 深度解析
43 2
|
1月前
|
Prometheus 监控 持续交付
深入理解Docker容器化技术:从基础到实践
深入理解Docker容器化技术:从基础到实践
|
1月前
|
安全 Docker 微服务
深入理解Docker容器技术:从基础到实践
深入理解Docker容器技术:从基础到实践
|
1月前
|
Cloud Native 持续交付 Docker
Docker容器化技术:从入门到实践
Docker容器化技术:从入门到实践
|
23天前
|
持续交付 开发者 Docker
深入理解并实践容器化技术——Docker篇
深入理解并实践容器化技术——Docker篇
37 0
下一篇
DataWorks