在同一台宿主机上,不同的Docker容器可以借助docker0的网桥直接进行通信。而在实际的项目中,一个复杂的系统往往需要部署多个组件。为了提高组件的运行的效率往往这些组件需要部署到不同的主机上。那么在Docker中如何实现容器的跨主机通信呢?目前主要可以通过3种不同的方式来实现Docker容器跨主机通信的功能:
- 方式一:通过容器在宿主机上的端口映射来完成通信。
但使用这种方式在跨主机通信时,由于需要宿主机的转发,使用起来会非常不方便。
- 方式二:通过借助Docker Overlay网络来实现。
这种方式可以直接使用容器本身的虚拟IP地址进行相互通信,这与运行在同一台宿主机上的不同容器通信方式完全一样。Docker原生的Overlay网络则是这样的一个解决方案,它也是目前实现容器跨节点通信的主流的数据传输和路由方案。要使用Overlay网络还需要有注册中心的支持。
- 方式三:通过借助第三方网络来实现容器的跨节点通信,如flannel网络等。
下面着重介绍方式二的实现过程。
Overlay网络是在不改变现有网络的前提下,对IP报文上进行数据格式的封装,从而利用IP路由协议实现了数据的转发功能。在Overlay网络中通过扩展标识位,可以支持高达16M的用户。Docker的Swarm集群便是Overlay网络的一个实现,而使用Overlay网络需要注册中的支持。注册中心能够提供服务的注册与发现功能。Docker支持的注册中心有ZooKeeper、Consul和Etcd。
视频讲解如下:
下面以ZooKeepper为例来进行介绍。在ZooKeeper网站上提供了ZooKeeper的安装介质。由于ZooKeeper基于的Java语言,因此,在安装ZooKeeper之前需要先安装Java的JDK环境。下面的步骤将部署一个单节点的ZooKeeper实例。
(1)解压缩JDK的安装介质,这里使用的版本是jdk-8u181-linux-x64.tar.gz。
$ tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/
(2)编辑文件“/root/.bash_profile”设置Java的环境变量。输入下面的内容:
JAVA_HOME=/root/jdk1.8.0_181 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH
(3)生效Java的环境变量。
$ source /root/.bash_profile
(4)解压缩ZooKeeper的安装介质,这里使用的版本是zookeeper-3.4.10.tar.gz。
$ tar -zxvf zookeeper-3.4.10.tar.gz -C /root
(5)进入ZooKeeper目录生成ZooKeeper的配置文件。
$ cd zookeeper-3.4.10 $ cp conf/zoo_sample.cfg conf/zoo.cfg
(6)启动ZooKeeper实例。
$ bin/zkServer.sh start
(7)查看ZooKeeper实例的状态,如下图所示。这时ZooKeeper是standalone状态,说明这是一个单节点的ZooKeeper实例。
有了ZooKeeper注册中心的支持,就可以进一步实现Docker容器的跨节点通信了。
下表显示了部署的环境信息。
具体的操作步骤如下:
(1)在master节点上修改文件“/usr/lib/systemd/system/docker.service”的内容,将参数“ExecStart”改为下面的内容。
ExecStart=/usr/bin/dockerd-current \ --add-runtime docker-runc=/usr/libexec/docker/docker-runc-current \ --default-runtime=docker-runc \ --exec-opt native.cgroupdriver=systemd \ --userland-proxy-path=/usr/libexec/docker/docker-proxy-current \ --init-path=/usr/libexec/docker/docker-init-current \ --seccomp-profile=/etc/docker/seccomp.json \ -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock \ --cluster-store zk://192.168.79.11:2181 \ --cluster-advertise 192.168.79.11:2375 \ $OPTIONS \ $DOCKER_STORAGE_OPTIONS \ $DOCKER_NETWORK_OPTIONS \ $ADD_REGISTRY \ $BLOCK_REGISTRY \ $INSECURE_REGISTRY \ $REGISTRIES # 其中增加的主要参数如下。 # --cluster-store:指定ZooKeeper的地址和端口。 # --cluster-advertise:将Docker注册到ZooKeeper中的地址信息。
(2)重启master节点上的Docker服务。
$ systemctl daemon-reload $ systemctl restart docker
(3)在node1节点上修改文件“/usr/lib/systemd/system/docker.service”的内容,将参数“ExecStart”改为下面的内容。
ExecStart=/usr/bin/dockerd-current \ --add-runtime docker-runc=/usr/libexec/docker/docker-runc-current \ --default-runtime=docker-runc \ --exec-opt native.cgroupdriver=systemd \ --userland-proxy-path=/usr/libexec/docker/docker-proxy-current \ --init-path=/usr/libexec/docker/docker-init-current \ --seccomp-profile=/etc/docker/seccomp.json \ -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock \ --cluster-store zk://192.168.79.11:2181 \ --cluster-advertise 192.168.79.12:2375 \ $OPTIONS \ $DOCKER_STORAGE_OPTIONS \ $DOCKER_NETWORK_OPTIONS \ $ADD_REGISTRY \ $BLOCK_REGISTRY \ $INSECURE_REGISTRY \ $REGISTRIES
(4)重启node1节点上的Docker服务。
$ systemctl daemon-reload $ systemctl restart docker
(5)进入ZooKeeper目录,启动ZooKeeper命令行客户端。
$ cd /root/zookeeper-3.4.10 $ bin/zkCli.sh
(6)查看master和node1在ZooKeeper中的注册信息,如下图所示。
(7)在任意节点上创建overlay网络,例如在master上执行下面的语句。
$ docker network create -d overlay my_multi_hosts # 其中的参数-d 用于指定创建网络的类型,这里指定的是overlay。 # 在node1节点上此时会自动同步新创建的网络my_multi_hosts。
(8)在master或者node1上查看Docker的网络信息,如下图所示。这时可以看到新创建的网络“my_multi_hosts”。
(9)在master节点上,使用my_multi_hosts的overlay网络启动一个容器,并确定容器的IP地址,如下图所示。从图中可以看成box1的IP地址是“10.0.0.2”。
$ docker run -it --net=my_multi_hosts --name box1 busybox $ ifconfig eth0
(10)在node1节点上,使用my_multi_hosts的overlay网络启动一个容器,并确定容器的IP地址,如下图所示。从图中可以看成box2的IP地址是“10.0.0.3”。
$ docker run -it --net=my_multi_hosts --name box2 busybox $ ifconfig eth0
(11)现在box1和box2既可以通过虚拟IP地址进行通信,也可以通过DNS Server进行通信,如下图所示。
(12)使用ZooKeeper的图形化工具ZooInspector登录ZooKeeper。这时就可以完整看到Overlay网络在ZooKeeper中的注册信息,如下图所示。