还记得我之前写过一篇文章叫做《Docker快速部署项目,极速搭建分布式》,在那里讲述了如何去使用docker swarm,如何构建自己的私人镜像仓库。随着最近的业务量的增长,机子加多。对于docker swarm管理难度有上升的趋势。主要的问题有以下几个
- 物理机配置不同(比如 CPU、内存等)
- 部署着不同类型的服务(比如 Web服务、Job服务等)
- Swarm 集群中的节点跨机房,为了内部服务间通信更快,该如何分组部署
- 。。。
为了解决以上问题,以求更合理、更科学的管理部署所以有了今天这篇文章。
docker 节点的部署调度一共有三种机制,随机部署、平衡部署、先满部署
随机部署:active中随机选择
平衡部署:尽可能先平均填满所有的节点
先满部署:与平衡部署相反,先部署至上限,然后在部署对应的
名称可能不对
那么该如何管理呢?下面我介绍几种方式,如下
- NodeId
- HOSTNAME
- Node role
- node labels
- engine.labels
首先我们查看一下节点列表信息,直接使用docker node ls
,即可
首先我们先解读一下,docker 的限制指令
1# docker service create --help 2--constraint list Placement constraints 3--container-label list Container labels
他们的 后面跟随的参数都是list,具体使用如以下示例
NodeId
根据NodeId来指定部署节点,以下以搭建私人镜像仓库为示例。
docker service
1docker service create \ 2--name registry \ 3--publish published=5000,target=5000 \ 4--constraint node.id==ytsyvuhfs60spr361y6irpynm \ 5registry:2
命令解读
1# 在docker swarm中创建服务 2docker service create \ 3# --name 服务别名 4# 指定node的id,ytsyvuhfs60spr361y6irpynm这个是我这里的node.id,你使用的时候需按照需求替换即可 5--constraint node.id==ytsyvuhfs60spr361y6irpynm \ 6# 暴露公开的接口,可以让节点中的其他node可以访问 7--publish published=5000,target=5000 \ 8# 镜像名:版本号 9registry:2
这样我们就实现了指定节点的部署,是不是很简单呢。
docker stack
1# docker-compose.yaml 2version: '3' 3services: 4 registry: 5 registry:2 6 ports: 7 - target: 8080 8 - published: 8080 9 - protocol: tcp 10 - mode: ingress 11 deploy: 12 mode: global 13 placement: 14 constraints: # 添加条件约束 15 - node.id==ytsyvuhfs60spr361y6irpynm 16 restart_policy: 17 condition: on-failure 18 max_attempts: 3
HOSTNAME
除此之外我们还可以指定hostname 去将应用部署到指定的hostname上,操作与以上差不多。那让我们来实现一下,首先我们需要查看对应节点的信息,在manager节点上使用docker node ls
查看,如下
docker service
创建命令如下,以nginx为例
1docker service create \ 2--name nginx \ 3--constraint node.hostname==ecs-dc8a-0003 \ 4-p 80:80 nginx
这样我们就将nginx服务部署至对应的节点了,并且扩容也仅会在此节点进行部署。示例如下
1docker service scale nginx=3
docker stack
1# docker-compose.yaml 2version: '3' 3services: 4 nginx: 5 image: nginx 6 ports: 7 - target: 80 8 - published: 80 9 - protocol: tcp 10 - mode: ingress 11 deploy: 12 mode: global 13 placement: 14 constraints: # 添加条件约束 15 - node.hostname==ecs-dc8a-0003 16 restart_policy: 17 condition: on-failure 18 max_attempts: 3
Node role
前面我们了解到了根据node.id
,node.hostname
进行指定节点的部署,但指定的却是唯一的。那么该如何实现同一类进行随机的部署呢?到这里我们继续深入了解,更具节点关系的进行约束。可部署节点中的关系有leader,work。
例如,我想实现不在主节点上部署,虽然我们可以使用使用限制中的条件,避开。例如这样
1# 示例 2docker service create \ 3--name registry \ 4--publish published=5000,target=5000 \ 5--constraint node.id!=ytsyvuhfs60spr361y6irpynm \ # 修改处 6registry:2
只需要将==
,改为!=
,即可。
docker service
但终究还是感觉很不喜欢,其实我们也可以这样,根据节点关系进行约束部署,示例如下
1docker service create \ 2--name nginx \ 3--publish published=80,target=80 \ 4--constraint node.role!=manager nginx
docker stack
1# docker-compose.yaml 2version: '3' 3services: 4 nginx: 5 image: nginx 6 ports: 7 - target: 80 8 - published: 80 9 - protocol: tcp 10 - mode: ingress 11 deploy: 12 mode: global 13 placement: 14 constraints: # 添加条件约束 15 - node.role!=manager 16 restart_policy: 17 condition: on-failure 18 max_attempts: 3
Node lables
讲了这么多,照顾新手的就已经过去了,接下来我们晚点更常用的部署,更具lables,来部署。只要是同一个lable,就会可以被部署到,切后续还可以根据label进行更得心应手的管理,例如加入一个label,进行节点驱逐、然后在新加入lables,扩容
添加标签与检查标签
1# 添加标签 2docker node update --label-add role=web hostname 3# 检查标签 4docker node inspect hostname 5# 删除标签 6docker node update --label-rm role hostname
输出如下
1"ID": "ttdku9ch37pknxu7b9sxknimb", 2 "Version": { 3 "Index": 852 4 }, 5 "CreatedAt": "2020-12-08T11:10:53.322771866Z", 6 "UpdatedAt": "2020-12-13T13:24:57.009816659Z", 7 "Spec": { 8 "Labels": { 9 "role": "web" # 这样我们就实现了添加标签 10 }, 11 "Role": "manager", 12 "Availability": "active" 13 }, 14 # 略
docker Service
1docker service create \ 2 --name nginx_2 \ 3 --constraint 'node.labels.role == web' \ 4 nginx
docker Stack
1version: '3' 2services: 3 mycat: 4 image: nginx 5 ports: 6 - target: 8080 7 published: 8080 8 protocol: tcp 9 mode: ingress 10 deploy: 11 mode: global 12 placement: 13 constraints: # 添加条件约束 14 - node.labels.role==web 15 restart_policy: 16 condition: on-failure 17 max_attempts: 3
constraints
为数组,填写多个约束时,它们之间的关系是 AND
。也就是说我们可以进行组合使用
更多请参考下表
node attribute | matches | example |
node.id |
Node ID | node.id==2ivku8v2gvtg4 |
node.hostname |
Node hostname | node.hostname!=node-2 |
node.role |
Node role (manager /worker ) |
node.role==manager |
node.platform.os |
Node operating system | node.platform.os==windows |
node.platform.arch |
Node architecture | node.platform.arch==x86_64 |
node.labels |
User-defined node labels | node.labels.security==high |
engine.labels |
Docker Engine’s labels | engine.labels.operatingsystem==ubuntu-14.04 |
推荐阅读
此部分的官方文档