一、什么是Docker Swarm
Swarm是Docker公司推出的用来管理docker集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群Docker宿主机变成一个单一的虚拟主机，Swarm使用标准的Docker API接口作为其前端的访问入口，换言之，各种形式的Docker Client(compose,docker-py等)均可以直接与Swarm通信，甚至Docker本身都可以很容易的与Swarm集成， 这大大方便了用户将原本基于单节点的系统移植到Swarm上，同时Swarm内置了对Docker网络插件的支持，用户也很容易的部署跨主机的容器集群服务。
Docker Swarm 和 Docker Compose 一样，都是 Docker 官方容器编排项目，但不同的是，Docker Compose 是一个在单个服务器或主机上创建多个容器的工具，而 Docker Swarm 则可以在多个服务器或主机上创建容器集群服务，对于微服务的部署，显然 Docker Swarm 会更加适合。
从 Docker 1.12.0 版本开始，Docker Swarm 已经包含在 Docker 引擎中（docker swarm），并且已经内置了服务发现工具，我们就不需要像之前一样，再配置 Etcd 或者 Consul 来进行服务发现配置了。
Swarm deamon只是一个调度器(Scheduler)加路由器(router),Swarm自己不运行容器，它只是接受Docker客户端发来的请求，调度适合的节点来运行容器，这就意味着，即使Swarm由于某些原因挂掉了，集群中的节点也会照常运行，当Swarm重新恢复运行之后，他会收集重建集群信息。
二、Docker Swarm 基本结构
Swarm是典型的master-slave结构，通过发现服务来选举manager。manager是中心管理节点，各个node上运行agent接受manager的统一管理，集群会自动通过Raft协议分布式选举出manager节点，无需额外的发现服务支持，避免了单点的瓶颈问题，同时也内置了DNS的负载均衡和对外部负载均衡机制的集成支持
三.Swarm的几个关键概念
1.Swarm
集群的管理和编排是使用嵌入docker引擎的SwarmKit，可以在docker初始化时启动swarm模式或者加入已存在的swarm
2.Node
一个节点是docker引擎集群的一个实例，可以将其视为Docker节点。
您可以在单个物理计算机或云服务器上运行一个或多个节点，但生产群集部署通常包括分布在多个物理和云计算机上的Docker节点。
要将应用程序部署到swarm，请将服务定义提交给管理器节点。
管理器节点将称为任务的工作单元分派给工作节点。
Manager节点还执行维护群集状态所需的编排和集群管理功能。Manager节点选择单个领导者来执行编排任务。
worker工作节点接收并执行从管理器节点分派的任务。
3.Service
一个服务是任务的定义，在管理机或工作节点上执行。它是群集系统的中心结构，是用户与群体交互的主要根源。创建服务时，你需要指定要使用的容器镜像。
4.Task
任务是在docekr容器中执行的命令，Manager节点根据指定数量的任务副本分配任务给worker节点
-----------------------------使用方法-----------------------------
docker swarm：集群管理，子命令有init, join, leave, update。（docker swarm --help查看帮助）
docker service：服务创建，子命令有create, inspect, update, remove, tasks。（docker service--help查看帮助）
docker node：节点管理，子命令有accept, promote, demote, inspect, update, tasks, ls, rm。（docker node --help查看帮助）
node是加入到swarm集群中的一个docker引擎实体，可以在一台物理机上运行多个node：
node分为：
manager nodes，也就是管理节点
worker nodes，也就是工作节点
1）manager node管理节点：执行集群的管理功能，维护集群的状态，选举一个leader节点去执行调度任务。
2）worker node工作节点：接收和执行任务。参与容器集群负载调度，仅用于承载task。
3）service服务：一个服务是工作节点上执行任务的定义。创建一个服务，指定了容器所使用的镜像和容器运行的命令。
service是运行在worker nodes上的task的描述，service的描述包括使用哪个docker 镜像，以及在使用该镜像的容器中执行什么命令。
4）task任务：一个任务包含了一个容器及其运行的命令。task是service的执行实体，task启动docker容器并在容器中执行任务。
四、Swarm的调度策略
Swarm在调度(scheduler)节点（leader节点）运行容器的时候，会根据指定的策略来计算最适合运行容器的节点，目前支持的策略有：spread, binpack, random.
1）Random
顾名思义，就是随机选择一个Node来运行容器，一般用作调试用，spread和binpack策略会根据各个节点的可用的CPU, RAM以及正在运
行的容器的数量来计算应该运行容器的节点。
2）Spread
在同等条件下，Spread策略会选择运行容器最少的那台节点来运行新的容器，binpack策略会选择运行容器最集中的那台机器来运行新的节点。
使用Spread策略会使得容器会均衡的分布在集群中的各个节点上运行，一旦一个节点挂掉了只会损失少部分的容器。
3）Binpack
Binpack策略最大化的避免容器碎片化，就是说binpack策略尽可能的把还未使用的节点留给需要更大空间的容器运行，尽可能的把容器运行在一个节点上面。
五、Swarm Cluster模式特性
1）批量创建服务
建立容器之前先创建一个overlay的网络，用来保证在不同主机上的容器网络互通的网络模式
2）强大的集群的容错性
当容器副本中的其中某一个或某几个节点宕机后，cluster会根据自己的服务注册发现机制，以及之前设定的值--replicas n，
在集群中剩余的空闲节点上，重新拉起容器副本。整个副本迁移的过程无需人工干预，迁移后原本的集群的load balance依旧好使！
不难看出，docker service其实不仅仅是批量启动服务这么简单，而是在集群中定义了一种状态。Cluster会持续检测服务的健康状态并维护集群的高可用性。
3）服务节点的可扩展性
Swarm Cluster不光只是提供了优秀的高可用性，同时也提供了节点弹性扩展或缩减的功能。当容器组想动态扩展时，只需通过scale参数即可复制出新的副本出来。
仔细观察的话，可以发现所有扩展出来的容器副本都run在原先的节点下面，如果有需求想在每台节点上都run一个相同的副本，方法其实很简单，只需要在命令中将"--replicas n"更换成"--mode=global"即可！
复制服务（--replicas n）
将一系列复制任务分发至各节点当中，具体取决于您所需要的设置状态，例如“--replicas 3”。
全局服务（--mode=global）
适用于集群内全部可用节点上的服务任务，例如“--mode global”。如果大家在 Swarm 集群中设有 7 台 Docker 节点，则全部节点之上都将存在对应容器。
4. 调度机制
所谓的调度其主要功能是cluster的server端去选择在哪个服务器节点上创建并启动一个容器实例的动作。它是由一个装箱算法和过滤器
组合而成。每次通过过滤器（constraint）启动容器的时候，swarm cluster 都会调用调度机制筛选出匹配约束条件的服务器，并在这上面运行容器。
------------------Swarm cluster的创建过程包含以下三个步骤----------------------
1）发现Docker集群中的各个节点，收集节点状态、角色信息，并监视节点状态的变化
2）初始化内部调度（scheduler）模块
3）创建并启动API监听服务模块
一旦创建好这个cluster，就可以用命令docker service批量对集群内的容器进行操作，非常方便！
在启动容器后，docker 会根据当前每个swarm节点的负载判断，在负载最优的节点运行这个task任务，用"docker service ls" 和"docker service ps + taskID"
可以看到任务运行在哪个节点上。容器启动后，有时需要等待一段时间才能完成容器创建。
六、Dcoker Swarm 集群部署
机器环境(三台机器，centos系统)
IP：192.168.100.205 主机名：docker01 担任角色：swarm manager
IP：192.168.100.105 主机名：docker02 担任角色：swarm node
IP：192.168.100.134 主机名：docker03 担任角色：swarm node
1、准备工作
修改主机名
关防火墙和selinux
2、创建Swarm并添加节点
1) 创建Swarm集群
[root@docker01 ~]# docker swarm init --advertise-addr 192.168.100.205
Swarm initialized: current node (z2n633mty5py7u9wyl423qnq0) is now a manager.
To add a worker to this swarm, run the following command:
# 这就是添加节点的方式(要保存初始化后token，因为在节点加入时要使用token作为通讯的密钥)
docker swarm join --token SWMTKN-1-2lefzq18zohy9yr1vskutf1sfb2a590xz9d0mjj2m15zu9eprw-2938j5f50t35ycut0vbj2sx0s 192.168.100.205:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
上面命令执行后，该机器自动加入到swarm集群。这个会创建一个集群token，获取全球唯一的 token，作为集群唯一标识。后续将其他节点加入集群都会用到这个token值。
其中，--advertise-addr参数表示其它swarm中的worker节点使用此ip地址与manager联系。命令的输出包含了其它节点如何加入集群的命令。
这里可能会遇到了一个小小的问题：
# 在执行上面的命令，报下面的错误时
[root@docker01 ~]# docker swarm init --advertise-addr 192.168.100.205
Error response from daemon: This node is already part of a swarm. Use "docker swarm leave" to leave this swarm and join another one.
# 解决方法
[root@docker01 ~]# docker swarm leave -f
这里的leave就是在集群中删除节点，-f参数强制删除，执行完在重新执行OK
2) 查看集群的相关信息
[root@docker01 ~]# docker info
上面的命令执行后 找到Swarm的关键字，就可以看到相关信息了
[root@docker01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
3jcmnzjh0e99ipgshk1ykuovd * docker01 Ready Active Leader 18.06.0-ce
上面的命令是查看集群中的机器(注意上面node ID旁边那个*号表示现在连接到这个节点上)
3) 添加节点主机到Swarm集群
上面我们在创建Swarm集群的时候就已经给出了添加节点的方法
# 192.168.100.105 主机上执行
[root@docker02 ~]# docker swarm join --token SWMTKN-1-2lefzq18zohy9yr1vskutf1sfb2a590xz9d0mjj2m15zu9eprw-2938j5f50t35ycut0vbj2sx0s 192.168.100.205:2377
This node joined a swarm as a worker.
# 192.168.100.134 主机上执行
[root@docker03 ~]# docker swarm join --token SWMTKN-1-2lefzq18zohy9yr1vskutf1sfb2a590xz9d0mjj2m15zu9eprw-2938j5f50t35ycut0vbj2sx0s 192.168.100.205:2377
This node joined a swarm as a worker.
如果想要将其他更多的节点添加到这个swarm集群中，添加方法如上一致
在docker01主机上我们可以看一下集群中的机器及状态
[root@docker01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
3jcmnzjh0e99ipgshk1ykuovd * docker01 Ready Active Leader 18.06.0-ce
vww7ue2xprzg46bjx7afo4h04 docker03 Ready Active 18.06.1-ce
c5klw5ns4adcvumzgiv66xpyj docker02 Ready Active 18.06.1-ce
--------------------------------------------------------------------------------
温馨提示：更改节点的availablity状态
swarm集群中node的availability状态可以为 active或者drain，其中：
active状态下，node可以接受来自manager节点的任务分派；
drain状态下，node节点会结束task，且不再接受来自manager节点的任务分派（也就是下线节点）
[root@docker01 ~]# docker node update --availability drain docker03 # 将docker03节点下线。如果要删除docker03节点，命令是"docker node rm --force docker03"
docker03
[root@docker01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
3jcmnzjh0e99ipgshk1ykuovd * docker01 Ready Active Leader 18.06.0-ce
vww7ue2xprzg46bjx7afo4h04 docker03 Ready Drain 18.06.1-ce
c5klw5ns4adcvumzgiv66xpyj docker02 Ready Active 18.06.1-ce
如上，当node1的状态改为drain后，那么该节点就不会接受task任务分发，就算之前已经接受的任务也会转移到别的节点上。
再次修改为active状态（及将下线的节点再次上线）
[root@docker01 ~]# docker node update --availability active docker03
docker03
[root@docker01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
3jcmnzjh0e99ipgshk1ykuovd * docker01 Ready Active Leader 18.06.0-ce
vww7ue2xprzg46bjx7afo4h04 docker03 Ready Active 18.06.1-ce
c5klw5ns4adcvumzgiv66xpyj docker02 Ready Active 18.06.1-ce
3、在Swarm中部署服务(nginx为例)
Docker 1.12版本提供服务的Scaling、health check、滚动升级等功能，并提供了内置的dns、vip机制，实现service的服务发现和负载均衡能力
1) 创建网络在部署服务
# 创建网络
[root@docker01 ~]# docker network create -d overlay nginx_net
a52jy33asc5o0ts0rq823bf0m
[root@docker01 ~]# docker network ls | grep nginx_net
a52jy33asc5o nginx_net overlay swarm
# 部署服务
[root@docker01 ~]# docker service create --replicas 1 --network nginx_net --name my_nginx -p 80:80 nginx # 就创建了一个具有一个副本（--replicas 1 ）的nginx服务，使用镜像nginx
olexfmtdf94sxyeetkchwhehg
overall progress: 1 out of 1 tasks
1/1: running [==================================================>]
verify: Service converged
在manager-node节点上使用上面这个覆盖网络创建nginx服务：
其中，--replicas 参数指定服务由几个实例组成。
注意：不需要提前在节点上下载nginx镜像，这个命令执行后会自动下载这个容器镜像（比如此处创建tomcat容器，就将下面命令中的镜像改为tomcat镜像）。
# 使用 docker service ls 查看正在运行服务的列表
[root@docker01 ~]#
ID NAME MODE REPLICAS IMAGE PORTS
olexfmtdf94s my_nginx replicated 1/1 nginx:latest *:80->80/tcp
2) 查询Swarm中服务的信息
-pretty 使命令输出格式化为可读的格式，不加 --pretty 可以输出更详细的信息：
[root@docker01 ~]# docker service inspect --pretty my_nginx
ID: zs7fw4ereo5w7ohd4n9ii06nt
Name: my_nginx
Service Mode: Replicated
Replicas: 1
Placement:
UpdateConfig:
Parallelism: 1
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Update order: stop-first
RollbackConfig:
Parallelism: 1
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Rollback order: stop-first
ContainerSpec:
Image: nginx:latest@sha256:b73f527d86e3461fd652f62cf47e7b375196063bbbd503e853af5be16597cb2e
Init: false
Resources:
Networks: nginx_net
Endpoint Mode: vip
Ports:
PublishedPort = 80
Protocol = tcp
TargetPort = 80
PublishMode = ingress
# 查询到哪个节点正在运行该服务。如下该容器被调度到manager-node节点上启动了，然后访问http://192.168.100.205即可访问这个容器应用（如果调度到其他节点，访问也是如此）
[root@docker01 ~]# docker service ps my_nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
yzonph0zu7km my_nginx.1 nginx:latest docker01 Running Running about an hour ago
温馨提示：如果上面命令执行后，上面的 STATE 字段中刚开始的服务状态为 Preparing，需要等一会才能变为 Running 状态，其中最费时间的应该是下载镜像的过程
有上面命令可知，该服务在manager-node节点上运行。登陆该节点，可以查看到nginx容器在运行中
[root@docker01 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
0dc7103f8030 nginx:latest "nginx -g 'daemon of…" About an hour ago Up About an hour 80/tcp my_nginx.1.yzonph0zu7km0211uj0ro5brj
3) 在Swarm中动态扩展服务(scale)
当然，如果只是通过service启动容器，swarm也算不上什么新鲜东西了。Service还提供了复制（类似kubernetes里的副本）功能。可以通过 docker service scale 命令来设置服务中容器的副本数
比如将上面的my_nginx容器动态扩展到4个
[root@docker01 ~]# docker service scale my_nginx=4
my_nginx scaled to 4
overall progress: 4 out of 4 tasks
1/4: running [==================================================>]
2/4: running [==================================================>]
3/4: running [==================================================>]
4/4: running [==================================================>]
verify: Service converged
和创建服务一样，增加scale数之后，将会创建新的容器，这些新启动的容器也会经历从准备到运行的过程，过一分钟左右，服务应该就会启动完成，这时候可以再来看一下 nginx 服务中的容器
[root@docker01 ~]# docker service ps my_nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
yzonph0zu7km my_nginx.1 nginx:latest docker01 Running Running about an hour ago
mlprstt9ds5x my_nginx.2 nginx:latest docker03 Running Running 52 seconds ago
y09lk90tdzdp my_nginx.3 nginx:latest docker03 Running Running 52 seconds ago
clolfl3zlvj0 my_nginx.4 nginx:latest docker02 Running Running 2 minutes ago
可以看到，之前my_nginx容器只在manager-node节点上有一个实例，而现在又增加了3个实例。
这4个副本的my_nginx容器分别运行在这三个节点上，登陆这三个节点，就会发现已经存在运行着的my_nginx容器
4) 模拟宕机node节点
特别需要清楚的一点：
如果一个节点宕机了（即该节点就会从swarm集群中被踢出），则Docker应该会将在该节点运行的容器，调度到其他节点，以满足指定数量的副本保持运行状态。
比如：
将docker03宕机后或将docker03的docker服务关闭，那么它上面的task实例就会转移到别的节点上。当docker03节点恢复后，它转移出去的task实例不会主动转移回来，
只能等别的节点出现故障后转移task实例到它的上面。使用命令"docker node ls"，发现docker03节点已不在swarm集群中了(状态为：Down)。
[root@docker03 ~]# systemctl stop docker
[root@docker01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
ppk7q0bjond8a58xja7in1qid * docker01 Ready Active Leader 18.06.0-ce
mums8azgbrffnecp3q8fz70pl docker03 Down Active 18.06.1-ce
z3n36maf03yjg7odghikuv574 docker02 Ready Active 18.06.1-ce
然后过一会查询服务的状态列表
[root@docker01 ~]# docker service ps my_nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
yzonph0zu7km my_nginx.1 nginx:latest docker01 Running Running about an hour ago
wb1cpk9k22rl my_nginx.2 nginx:latest docker02 Running Running about a minute ago
mlprstt9ds5x \_ my_nginx.2 nginx:latest docker03 Shutdown Running 4 minutes ago
rhbj4bcr4t2c my_nginx.3 nginx:latest docker01 Running Running about a minute ago
y09lk90tdzdp \_ my_nginx.3 nginx:latest docker03 Shutdown Running 4 minutes ago
clolfl3zlvj0 my_nginx.4 nginx:latest docker02 Running Running 6 minutes ago
上面我们可以发现docker03故障后，它上面之前的两个task任务已经转移到docker02和docker01节点上了
登陆到docker02和docker01节点上，可以看到这两个运行的task任务。当访问192.168.100.105和192.168.100.205节点的80端口，swarm的负载均衡会把请求路由到一个任意节点的可用的容器上
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ae4c5c2e6f3f nginx:latest "nginx -g 'daemon of…" 4 minutes ago Up 4 minutes 80/tcp my_nginx.3.rhbj4bcr4t2c3y2f8vyfmbi21
0dc7103f8030 nginx:latest "nginx -g 'daemon of…" About an hour ago Up About an hour 80/tcp my_nginx.1.yzonph0zu7km0211uj0ro5brj
[root@docker02 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a63ef253f7dd nginx:latest "nginx -g 'daemon of…" 3 minutes ago Up 3 minutes 80/tcp my_nginx.2.wb1cpk9k22rl1ydab7aozl2b5
74a1a1db81d4 nginx:latest "nginx -g 'daemon of…" 8 minutes ago Up 8 minutes 80/tcp my_nginx.4.clolfl3zlvj0ewmh85c2ljnza
再次在docker02和docker01节点上将从docker03上转移过来的两个task关闭
[root@docker01 ~]# docker stop my_nginx.3.rhbj4bcr4t2c3y2f8vyfmbi21
my_nginx.3.rhbj4bcr4t2c3y2f8vyfmbi21
[root@docker02 ~]# docker stop my_nginx.2.wb1cpk9k22rl1ydab7aozl2b5
my_nginx.2.wb1cpk9k22rl1ydab7aozl2b5
再次查询服务的状态列表，发现这两个task又转移到docker03上了
[root@docker01 ~]# docker service ps my_nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
yzonph0zu7km my_nginx.1 nginx:latest docker01 Running Running 2 hours ago
j2q61f8jtzba my_nginx.2 nginx:latest docker02 Running Running 24 seconds ago
wb1cpk9k22rl \_ my_nginx.2 nginx:latest docker02 Shutdown Complete 29 seconds ago
mlprstt9ds5x \_ my_nginx.2 nginx:latest docker03 Shutdown Running 11 minutes ago
oz9wyjuldw1t my_nginx.3 nginx:latest docker01 Running Running 40 seconds ago
rhbj4bcr4t2c \_ my_nginx.3 nginx:latest docker01 Shutdown Complete 45 seconds ago
y09lk90tdzdp \_ my_nginx.3 nginx:latest docker03 Shutdown Running 11 minutes ago
clolfl3zlvj0 my_nginx.4 nginx:latest docker02 Running Running 12 minutes ago
结论：即在swarm cluster集群中启动的容器，在worker node节点上删除或停用后，该容器会自动转移到其他的worker node节点上
5) Swarm 动态缩容服务(scale)
同理，swarm还可以缩容，同样是使用scale命令
如下，将my_nginx容器变为1个
[root@docker01 ~]# docker service scale my_nginx=1
my_nginx scaled to 1
overall progress: 1 out of 1 tasks
1/1:
verify: Service converged
[root@docker01 ~]# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
zs7fw4ereo5w my_nginx replicated 1/1 nginx:latest *:80->80/tcp
[root@docker01 ~]# docker service ps my_nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
yzonph0zu7km my_nginx.1 nginx:latest docker01 Running Running 11 hours ago
wb1cpk9k22rl my_nginx.2 nginx:latest docker02 Shutdown Complete 9 hours ago
mlprstt9ds5x \_ my_nginx.2 nginx:latest docker03 Shutdown Shutdown 29 seconds ago
rhbj4bcr4t2c my_nginx.3 nginx:latest docker01 Shutdown Complete 9 hours ago
y09lk90tdzdp \_ my_nginx.3 nginx:latest docker03 Shutdown Shutdown 29 seconds ago
通过docker service ps my_nginx 可以看到node节点上已经为Shutdown状态了
在登录到node节点主机上查看
[root@docker02 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f93c0a27374a nginx:latest "nginx -g 'daemon of…" 9 hours ago Exited (0) 44 seconds ago my_nginx.2.j2q61f8jtzba9kb3unupkhl25
a63ef253f7dd nginx:latest "nginx -g 'daemon of…" 9 hours ago Exited (0) 9 hours ago my_nginx.2.wb1cpk9k22rl1ydab7aozl2b5
[root@docker03 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e8ac2e44f5c4 nginx:latest "nginx -g 'daemon of…" 9 hours ago Exited (0) 9 hours ago my_nginx.2.mlprstt9ds5xi48u1rzscgfdk
5b031aa5a2cc nginx:latest "nginx -g 'daemon of…" 9 hours ago Exited (0) 9 hours ago my_nginx.3.y09lk90tdzdp8cwj6mm5oyr3f
登录node节点，使用docker ps -a 查看，会发现容器被stop而非rm
