Docker的跨主机网络
网络模型分类：
overlay：使用分布式数据库保存网络数据实现共享，数据包需要封装解封装
underlay：使用Linux内核模块，借用物理网卡实现多Mac配置连接容器，性能高，但网络配置比较复杂
常见的网络模型:
跨主机网络意味着将不同主机上的容器用同一个虚拟网络连接起来。这个虚拟网络的拓扑结构和实现技术就是网络模型。
Docker overlay: 如名称所示，是 overlay 网络，建立主机间 VxLAN 隧道，原始数据包在发送端被封装成 VxLAN 数据包，到达目的后在接收端解包。
Macvlan: 网络在二层上通过 VLAN 连接容器，在三层上依赖外部网关连接不同 macvlan。数据包直接发送，不需要封装，属于 underlay 网络。
Flannel: 有两种 backend：vxlan 和 host-gw。vxlan 与 Docker overlay 类似，属于 overlay 网络。host-gw 将主机作为网关，依赖三层 IP 转发，不需要像 vxlan 那样对包进行封装，属于 underlay 网络。
Weave： 是 VxLAN 实现，属于 overlay 网络。
Calico：属于underlay，完全利用路由规则实现动态组网，通过BGP协议通告路由。
各方案的网络模型描述如下：
Distributed Store：
Docker Overlay、Flannel 和 Calico 都需要 etcd 或 consul。Macvlan 是简单的 local 网络，不需要保存和共享网络信息。Weave 自己负责在主机间交换网络配置信息，也不需要 Distributed Store。
IPAM：
Docker Overlay 网络中所有主机共享同一个 subnet，容器启动时会顺序分配 IP，可以通过 --subnet 定制此 IP 空间。
Macvlan 需要用户自己管理 subnet，为容器分配 IP，不同 subnet 通信依赖外部网关。
Flannel 为每个主机自动分配独立的 subnet，用户只需要指定一个大的 IP 池。不同 subnet 之间的路由信息也由 Flannel 自动生成和配置。
Weave 的默认配置下所有容器使用 10.32.0.0/12 subnet，如果此地址空间与现有 IP 冲突，可以通过 --ipalloc-range 分配特定的 subnet。
Calico 从 IP Pool（可定制）中为每个主机分配自己的 subnet。
连通与隔离：
同一 Docker Overlay 网络中的容器可以通信，但不同网络之间无法通信，要实现跨网络访问，只有将容器加入多个网络。与外网通信可以通过 docker_gwbridge 网络。
Macvlan 网络的连通或隔离完全取决于二层 VLAN 和三层路由。
不同 Flannel 网络中的容器直接就可以通信，没有提供隔离。与外网通信可以通过 bridge 网络。
Weave 网络默认配置下所有容器在一个大的 subnet 中，可以自由通信，如果要实现隔离，需要为容器指定不同的 subnet 或 IP。与外网通信的方案是将主机加入到 weave 网络，并把主机当作网关。
Calico 默认配置下只允许位于同一网络中的容器之间通信，但通过其强大的 Policy 能够实现几乎任意场景的访问控制。
性能：
性能测试是一个非常严谨和复杂的工程，这里我们只尝试从技术方案的原理上比较各方案的性能。
最朴素的判断是：Underlay 网络性能优于 Overlay 网络。
Overlay 网络利用隧道技术，将数据包封装到 UDP 中进行传输。因为涉及数据包的封装和解封，存在额外的 CPU 和网络开销。虽然几乎所有 Overlay 网络方案底层都采用 Linux kernel 的 vxlan 模块，这样可以尽量减少开销，但这个开销与 Underlay 网络相比还是存在的。所以 Macvlan、Flannel host-gw、Calico 的性能会优于 Docker overlay、Flannel vxlan 和 Weave。
Overlay 较 Underlay 可以支持更多的二层网段，能更好地利用已有网络，以及有避免物理交换机 MAC 表耗尽等优势，所以在方案选型的时候需要综合考虑
==================================================
## 一、overlay的解决方案
为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。
Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul。
**环境限制**：
- 必须安装key-value存储服务，如consul
- 宿主机已经安装docker engine
- 宿主机的hostname必须不同
#### 实验环境：
docker01
docker02
docker03
暂时不考虑防火墙和selinux安全问题。
将3台dockerhost防火墙和selinux全部关闭，并且分别更改主机名称。
### 在docker01上的操作。
//运行consul服务。
docker run -d -p 8500:8500 -h consul --name consul --restart always progrium/consul -server -bootstrap
PS: 容器生产之后，我们可以通过浏览器访问consul服务，验证consul服务是否正常。访问dockerHost加映射端口。
### 修改docker02和docker03的docker配置文件
vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376 --cluster-store=consul://192.168.8.10:8500 --cluster-advertise=ens33:2376
systemctl daemon-reload
systemctl restart docker
PS:返回浏览器consul服务界面，找到KEY/VALUE----> DOCKER---->NODES，会看到刚刚加入的docker02/docker03的信息。
#### 在docker02上创建一个自定义网络
docker network create -d overlay ov_net1
docker network ls
NETWORK ID NAME DRIVER SCOPE
5ec0c207991c ov_net1 overlay global
```
在docker02上创建的网络，我们可以看到它的SCOPE定义的是global（全局），意味着加入到consul这个服务的docker服务，都可以看到我们自定义的网络。
同理如果是用此网络创建的容器，会有两张网卡。
默认这张网卡的网段是10.0.0.0网段，如果想要docker01也可能看到这个网络，那么也只需在docker01的docker配置文件添加相应内容即可。
同理，因为是自定义网络，符合自定义网络的特性，可以直接通过docker容器的名称相互通信，当然也可以在自定义网络的时候，指定它的网段，那么使用此网络的容器也可以指定IP地址。
#### 在docker02创建跨主机网络测试机
docker run -itd --name bbox1 --net ov_net1 busybox
#### 在docker03创建跨主机网络测试机
docker run -itd --name bbox2 --net ov_net1 busybox docker exec -it bbox2 ping bbox1
===================================
## 二、Docker跨主机网络方案之MacVlan
除了overlay，docker 还开发了另一个支持跨主机容器网络的 driver：macvlan。
macvlan 本身是 Linux kernel 模块，其功能是允许在同一个物理网卡上配置多个MAC 地址，即多个interface，每个 interface 可以配置自己的 IP。macvlan 本质上是一种网卡虚拟化技术，Docker用 macvlan 实现容器网络就不奇怪了。
macvlan 的最大优点是性能极好，相比其他实现，macvlan 不需要创建 Linux bridge，而是直接通过以太 interface 连接到物理网络。下面我们就来创建一个 macvlan 网络。
实验环境：
docker01 docker02
关闭防火墙和禁用selinux，更改主机名。
#### 1）打开网卡的混杂模式
//需要在docker01和docker02上都进行操作。
ip link set ens33 promisc on ip link show ens33
#### 2）在docker01上创建macvlan网络
docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1
PS: -o parent=绑定在哪张网卡之上
#### 3）基于创建的macvlan网络运行一个容器
docker run -itd --name bbox1 --ip 172.22.16.10 --network mac_net1 busybox
#### 4）在docker02上创建macvlan网络，注意与docker01上的macvlan网络一模一样。
docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1
#### 5）在docker02上，基于创建的macvlan网络运行一个容器，验证与docker01上容器的通信。
docker run -itd --name bbox2 --network mac_net1 --ip 172.22.16.20 busybox
#### 6）在docker02上，登录bbox2测试ping bbox1
docker exec -it bbox2 /bin/sh
