AI 助理
备案控制台
开发者社区 大数据 文章 正文

在Docker中从头部署自己的Spark集群

2015-06-03 2081
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
注册配置 MSE Nacos/ZooKeeper，118元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
简介： 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46353101 由于自己...
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46353101

由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行
碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）

于是就准备在Docker上搭建Spark集群
由于是Docker新手，在操作过程中遇到了不少麻烦

刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用
问题多多，下载速度慢，下载异常，运行异常，配置异常等等等等。。。
好不容易下载了一个可以用的镜像，但是是一个节点的伪分布式，jdk，hadoop，spark等等的版本也不是我想要的
所以就着手从头开始在Docker中部署Spark

下面进入正题

宿主机为Ubuntu系统（VM上的一个虚拟机），Docker的安装请看：

Docker解析及轻量级PaaS平台演练（一）

安装好Docker之后，先拉取一个官方的基本镜像ubuntu

docker pull ubuntu

我们将在这个基础镜像上运行容器，将这个容器当成一个普通的ubuntu虚拟机来操作部署spark，最后将配置好的容器commit为一个镜像，之后就可以通过这个镜像运行n个节点来完成集群的搭建

下载完ubuntu镜像之后运行

docker images

可以看到该镜像

这里写图片描述

上图最后一个就是（其他是一些测试时候的镜像）

运行ubuntu容器

docker run -v /home/docker/software/:/software -it ubuntu

这里写图片描述

在容器中安装ssh

这个镜像中默认是没有ssh的，所以要自行安装

apt-get install ssh

SSH装好了以后，由于我们是Docker容器中运行，所以SSH服务不会自动启动。需要我们在容器启动以后，手动通过 /usr/sbin/sshd 手动打开SSH服务。为了方便，把这个命令加入到 ~/.bashrc 文件中，这样在容器启动的时候就会自动开启ssh服务

vim ~/.bashrc

#加入
/usr/sbin/sshd

#如果在启动容器的时候还是无法启动ssh的话，在/etc/rc.local文件中也加入

vim /etc/rc.local
#加入
/usr/sbin/sshd

（这个镜像自带的vi编辑器部分难用。。。建议使用apt-get install vim 下载vim编辑器）

ssh默认配置root无法登陆
将 /etc/ssh/sshd_config中PermitRootLogin no 改为yes

生成访问密钥

cd ~/

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cd .ssh

cat id_rsa.pub >> authorized_keys

#开启ssh服务后验证是否可以使用，打印出当前时间
ssh localhost date

这里写图片描述

安装JDK

可以使用apt-get方式直接下载安装jdk（不推荐，下载速度慢，有可能还会失败）
这里选择从网上下载完jdk-6u45-linux-i586.bin之后
将其传到Ubuntu宿主机中，在运行容器的时候使用-v参数将宿主机上的目录映射到容器中，这样在容器中就可以访问到宿主机中的文件了

将JDK铜鼓FTP上传到宿主机的/home/docker/software目录下
在容器中可以在/software下看到该目录下的文件

这里写图片描述

#将该文件移动到usr目录下
mkdir /usr/java
mv /software/jdk-6u45-linux-i586.bin /usr/java
#安装JDK
chmod 755 jdk-6u45-linux-i586.bin
./jdk-6u45-linux-i586.bin

如果提示不能安装.bin文件，使用一下命令即可解决（下载时间可能会很久，如果失败可能是网络原因，多试几次）

#
apt-get update
#
apt-get install g++-multilib

配置环境变量

mv jdk-6u45-linux-i586 jdk
#在/etc/profile中配置的环境变量不起作用，要配置在宿主目录下的.bashrc
vim ~/.bashrc

export JAVA_HOME=/usr/java/jdk
export PATH=$PATH:$JAVA_HOME/bin

#保存退出之后验证是否安装成功
java -version

这里写图片描述

安装Zookeeper

将下载好的zookeeper-3.4.5.tar.gz上传

mv /software/zookeeper-3.4.5.tar.gz ~

tar -zxvf zookeeper-3.4.5.tar.gz

mv zookeeper-3.4.5 zookeeper

cd ~/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

#修改：
dataDir=/root/zookeeper/tmp

#在最后添加：
server.1=cloud4:2888:3888
server.2=cloud5:2888:3888
server.3=cloud6:2888:3888

#保存退出，然后创建一个tmp文件夹
mkdir ~/zookeeper/tmp

#再创建一个空文件
touch ~/zookeeper/tmp/myid

#最后向该文件写入ID
echo 1 > ~/zookeeper/tmp/myid

安装Hadoop

将下载好的hadoop-2.2.0-64bit.tar.gz上传

mv /software/hadoop-2.2.0-64bit.tar.gz ~

tar -zxvf hadoop-2.2.0-64bit.tar.gz

mv hadoop-2.2.0 hadoop

cd ~/hadoop/etc/hadoop

vim hadoop-env.sh

#加入java环境变量
export JAVA_HOME=/usr/java/jdk

vim core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name> 
<value>cloud4:2181,cloud5:2181,cloud6:2181</value>
</property>

vim hdfs-site.xml

<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>cloud1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>cloud1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>cloud2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>cloud2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name> 
<value>qjournal://cloud4:8485;cloud5:8485;cloud6:8485/ns1</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/root/hadoop/journal</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

vim yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>cloud3</value>
</property>
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property>                   

vim slaves

cloud1
cloud2
cloud3
cloud4
cloud5
cloud6

安装Spark

mv /software/scala-2.10.5.tgz ~ 

tar -zxvf scala-2.10.5.tgz

mv scala-2.10.5 scala

vim ~/.bashrc

export JAVA_HOME=/usr/java/jdk
export HADOOP_HOME=/root/hadoop
export SCALA_HOME=/root/scala      
export SPARK_HOME=/root/spark      
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

mv /software/spark-1.3.0-bin-hadoop2.3.tgz ~

tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz 

mv spark-1.3.0-bin-hadoop2.3 spark

#修改spark文件slaves 
vim ~/spark/conf/slaves 

cloud1 
cloud2 
cloud3 
cloud4 
cloud5 
cloud6

mv spark-env.sh.template spark-env.sh
vim ~/spark/conf/spark-env.sh 

export SPARK_MASTER_IP=cloud1 
export SPARK_WORKER_MEMORY=128m 
export JAVA_HOME=/usr/java/jdk 
export SCALA_HOME=/root/scala 
export SPARK_HOME=/root/spark 
export HADOOP_CONF_DIR=/root/hadoop/etc/hadoop 
export SPARK_LIBRARY_PATH=$$SPARK_HOME/lib 
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH 
export SPARK_WORKER_CORES=1 
export SPARK_WORKER_INSTANCES=1 
export SPARK_MASTER_PORT=7077

在宿主机中

docker commit {containerId}
#会返回一个id
docker tag {id} jchubby/spark:1.0

将这个容器commit成一个新的image

然后用这个image运行6个容器，分别是cloud1~cloud6

#-h指定容器运行起来后的hostname
docker run --name cloud1 -h cloud1 -it jchubby/spark:1.0
...
docker run --name cloud6 -h cloud6 -it jchubby/spark:1.0
#在cloud5~cloud6中分别手动修改myid
echo 2 > ~/zookeeper/tmp/myid
echo 3 > ~/zookeeper/tmp/myid

#修改/etc/hosts文件，之后在通过scp传到其他容器中

#启动zookeeper集群（分别在cloud4、cloud5、cloud6上启动zk）
~/zookeeper/bin/zkServer.sh start

#使用status查看是否启动
~/zookeeper/bin/zkServer.sh status

#启动journalnode（在cloud1上启动所有journalnode，注意：是调用的hadoop-daemons.sh这个脚本，注意是复数s的那个脚本）
#运行jps命令检验，cloud4、cloud5、cloud6上多了JournalNode进程
~/hadoop/sbin/hadoop-daemons.sh start journalnode

#格式化HDFS(在bin目录下),在cloud1上执行命令:
~/hadoop/bin/hdfs namenode -format

#格式化ZK(在cloud1上执行即可，在bin目录下)
~/hadoop/bin/hdfs zkfc -formatZK

#启动HDFS(在cloud1上执行)
~/hadoop/sbin/start-dfs.sh

#在cloud3上执行start-yarn.sh
~/hadoop/sbin/start-yarn.sh

#启动spark集群
~/spark/sbin/start-all.sh

启动之后可以在宿主机的浏览器中访问
HDFS：cloud1:50070
YARN：cloud3:8088
SPARK：cloud1:8080
（如果宿主机中的hosts文件没有配置docker容器的主机名和IP地址映射关系的话要换成用IP访问）

#在cloud4/5/6其中一个，将hadoop目录下的journal复制到cloud1
scp -r ~/hadoop/journal cloud1:~/haoop

#将完成所有配置的cloud1 commit成一个镜像
docker commit cloud1

docker tag id jchubby/spark_n

之后直接用这个镜像运行容器，分别启动zookeeper，hadoop，spark即可

文章标签：
微服务引擎
容器
分布式计算
Docker
Spark
Java
关键词：
Docker部署集群
Docker部署
Docker集群
apache spark集群
apache spark部署
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
xiaohei.info
目录
相关文章
蓝易云
|
5天前
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态，您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ，提高消息中间件的部署和管理效率。
蓝易云
152 91
aliyun5346531989-29970
|
6天前
|
存储 NoSQL Redis
Docker 部署 Redis
在使用 Docker 部署 Redis 时，为实现数据持久化，需正确挂载容器内的数据目录到宿主机。推荐命令如下： ``` docker run -d --name redis -v /mnt/data/redis:/data -p 6379:6379 redis ``` 该命令将宿主机的 `/mnt/data/redis` 目录挂载到容器的 `/data` 目录，确保 Redis 数据持久化。此路径更通用，适合大多数场景。避免使用不匹配的挂载路径，如 `/var/lib/redis` 或 `/mnt/data/redis` 到非默认目录，以防止数据无法正确持久化。
aliyun5346531989-29970
109 64
技术自由圈/原疯狂创客圈
|
21天前
|
存储 关系型数据库 MySQL
美团面试：MySQL为什么 不用 Docker部署？
45岁老架构师尼恩在读者交流群中分享了关于“MySQL为什么不推荐使用Docker部署”的深入分析。通过系统化的梳理，尼恩帮助读者理解为何大型MySQL数据库通常不使用Docker部署，主要涉及性能、管理复杂度和稳定性等方面的考量。文章详细解释了有状态容器的特点、Docker的资源隔离问题以及磁盘IO性能损耗，并提供了小型MySQL使用Docker的最佳实践。此外，尼恩还介绍了Share Nothing架构的优势及其应用场景，强调了配置管理和数据持久化的挑战。最后，尼恩建议读者参考《尼恩Java面试宝典PDF》以提升技术能力，更好地应对面试中的难题。
技术自由圈/原疯狂创客圈
300 68
蓝易云
|
13天前
|
JavaScript 前端开发 Docker
如何通过pm2以cluster模式多进程部署next.js（包括docker下的部署）
通过这些步骤，可以确保您的Next.js应用在多核服务器上高效运行，并且在Docker环境中实现高效的容器化管理。
蓝易云
72 44
蓝易云
|
1月前
|
监控 Java 应用服务中间件
tomcat相关概念与部署tomcat多实例-zabbix监控（docker部署）
通过上述步骤，您可以在Ubuntu系统上成功编译并安装OpenCV 4.8。这种方法不仅使您能够定制OpenCV的功能，还可以优化性能以满足特定需求。确保按照每一步进行操作，以避免常见的编译问题。
蓝易云
58 23
游客tvgb6vci6chtq
|
22天前
|
存储 分布式计算 调度
Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
Spark Master 的高可用性（HA）机制确保主节点故障时，备用主节点能无缝接管集群管理，保障稳定运行。关键在于： 1. **Driver 和 Executor 独立**：任务执行不依赖 Master。 2. **应用状态保持**：备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**：快速选举新 Master 并同步状态。 4. **容错机制**：任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。
游客tvgb6vci6chtq
32 7
游客r2tgrg3ez7yzc
|
25天前
|
SQL Java Maven
docker部署apollo
docker部署apollo步骤
游客r2tgrg3ez7yzc
41 10
蓝易云
|
1月前
|
监控 Java 应用服务中间件
tomcat相关概念与部署tomcat多实例-zabbix监控（docker部署）
通过上述步骤，您可以在Ubuntu系统上成功编译并安装OpenCV 4.8。这种方法不仅使您能够定制OpenCV的功能，还可以优化性能以满足特定需求。确保按照每一步进行操作，以避免常见的编译问题。
蓝易云
49 22
蓝易云
|
1月前
|
监控 Java 应用服务中间件
tomcat相关概念与部署tomcat多实例-zabbix监控（docker部署）
通过上述步骤，您可以在Ubuntu系统上成功编译并安装OpenCV 4.8。这种方法不仅使您能够定制OpenCV的功能，还可以优化性能以满足特定需求。确保按照每一步进行操作，以避免常见的编译问题。
蓝易云
66 25
卓伊凡
|
2月前
|
Ubuntu Linux 开发工具
docker 是什么？docker初认识之如何部署docker-优雅草后续将会把产品发布部署至docker容器中-因此会出相关系列文章-优雅草央千澈
Docker 是一个开源的容器化平台，允许开发者将应用程序及其依赖项打包成标准化单元（容器），确保在任何支持 Docker 的操作系统上一致运行。容器共享主机内核，提供轻量级、高效的执行环境。本文介绍如何在 Ubuntu 上安装 Docker，并通过简单步骤验证安装成功。后续文章将探讨使用 Docker 部署开源项目。优雅草央千澈 源、安装 Docker 包、验证安装 - 适用场景：开发、测试、生产环境 通过以上步骤，您可以在 Ubuntu 系统上成功安装并运行 Docker，为后续的应用部署打下基础。
卓伊凡
96 8
docker 是什么？docker初认识之如何部署docker-优雅草后续将会把产品发布部署至docker容器中-因此会出相关系列文章-优雅草央千澈

热门文章

最新文章

  • 1
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
  • 2
    【赵渝强老师】Spark RDD的依赖关系和任务阶段
  • 3
    Spark 与 MapReduce 的 Shuffle 的区别？
  • 4
    Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
  • 5
    【赵渝强老师】Spark的容错机制：检查点
  • 6
    美团面试：MySQL为什么 不用 Docker部署？
  • 7
    docker pull mysql:8.0.26提示Error response from daemon: Get “https://registry-1.docker.io/v2/“: EOF错误
  • 8
    Docker部署RocketMQ5.2.0集群
  • 9
    ubuntu22 编译安装docker，和docker容器方式安装 deepseek
  • 10
    Docker 部署 Redis
  • 1
    docker环境安装kafka/Flink/clickhouse镜像
    50
  • 2
    docker compose 安装 kafka
    35
  • 3
    Docker部署RocketMQ5.2.0集群
    152
  • 4
    【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
    54
  • 5
    ubuntu22 编译安装docker，和docker容器方式安装 deepseek
    131
  • 6
    Docker+consul容器服务的更新与发现
    41
  • 7
    Docker 部署 Redis
    110
  • 8
    深入理解Docker：为你的爬虫项目提供隔离环境
    44
  • 9
    Docker Compose V2 安装常用数据库MySQL+Mongo
    91
  • 10
    docker: No space left on device处理与迁移目录
    79

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • 构建基因数据应用生态系统—— docker in Bio/informatics

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • 通过容器镜像仓库与容器服务快速部署spring-hello应用
  • Docker Compose部署案例
  • Docker Compose入门
  • 容器镜像的制作2
  • 部署并使用Docker（CentOS 8）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    阿里云oss简介和如何对接使用