AI 助理
备案控制台
开发者社区 云原生 文章 正文

Docker实践 -- 使用Open vSwitch实现跨主机通信

2017-11-27 1607
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

作为目前最火热的容器技术，docker在网络实现和管理方面还存在不足。最开始的docker是依赖于Linux Bridge实现的网络设置，只能在容器里创建一个网卡。后来随着docker/libnetwork项目的进展，docker的网络管理功能逐渐多了起来。尽管如此，跨主机通信对于docker来说还是一个需要面对的问题，这一点对于kubernetes类的容器管理系统异常重要。目前市面上主流的解决方法有flannel, weave, Pipework, Open vSwitch等。


Open vSwitch实现比较简单，成熟且功能强大，所以很适合作为解决docker底层网络互联互通的工具。言归正传，如下是基本架构图：

blob.png


具体的实现步骤如下：

1. 安装docker, bridge-utils和openvswitch

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@dockerserver1 ~] # yum install docker bridge-utils -y 
[root@dockerserver1 ~] # yum install wget openssl-devel -y 
[root@dockerserver1 ~] # yum groupinstall "Development Tools"
[root@dockerserver1 ~] # adduser ovswitch
[root@dockerserver1 ~] # su - ovswitch
[ovswitch@dockerserver1 ~]$ wget http: //openvswitch .org /releases/openvswitch-2 .3.0. tar .gz
[ovswitch@dockerserver1 ~]$  tar  -zxvpf openvswitch-2.3.0. tar .gz
[ovswitch@dockerserver1 ~]$  mkdir  -p ~ /rpmbuild/SOURCES
[ovswitch@dockerserver1 ~]$  sed  's/openvswitch-kmod, //g'  openvswitch-2.3.0 /rhel/openvswitch .spec > openvswitch-2.3.0 /rhel/openvswitch_no_kmod .spec
[ovswitch@dockerserver1 ~]$  cp  openvswitch-2.3.0. tar .gz rpmbuild /SOURCES/
      
[ovswitch@dockerserver1 ~]$ rpmbuild -bb --without check ~ /openvswitch-2 .3.0 /rhel/openvswitch_no_kmod .spec
      
[ovswitch@dockerserver1 ~]$  exit
      
[root@dockerserver1 ~] # yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm -y
[root@dockerserver1 ~] # mkdir /etc/openvswitch
[root@dockerserver1 ~] # setenforce 0


2. 在dockerserver1上编辑/usr/lib/systemd/system/docker.service文件，添加docker启动选项"--bip=10.0.0.1/24"，如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
[root@dockerserver1 ~] # cat /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=http: //docs .docker.com
After=network.target rhel-push-plugin.socket registries.service
Wants=docker-storage-setup.service
Requires=docker-cleanup.timer
 
[Service]
Type=notify
NotifyAccess=all
EnvironmentFile=- /run/containers/registries .conf
EnvironmentFile=- /etc/sysconfig/docker
EnvironmentFile=- /etc/sysconfig/docker-storage
EnvironmentFile=- /etc/sysconfig/docker-network
Environment=GOTRACEBACK=crash
Environment=DOCKER_HTTP_HOST_COMPAT=1
Environment=PATH= /usr/libexec/docker : /usr/bin : /usr/sbin
ExecStart= /usr/bin/dockerd-current  \
           --add-runtime docker-runc= /usr/libexec/docker/docker-runc-current  \
           --default-runtime=docker-runc \
           -- exec -opt native.cgroupdriver=systemd \
           --userland-proxy-path= /usr/libexec/docker/docker-proxy-current  \
           --bip=10.0.0.1 /24  \
           $OPTIONS \
           $DOCKER_STORAGE_OPTIONS \
           $DOCKER_NETWORK_OPTIONS \
           $ADD_REGISTRY \
           $BLOCK_REGISTRY \
           $INSECURE_REGISTRY\
           $REGISTRIES  
ExecReload= /bin/kill  -s HUP $MAINPID
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
TimeoutStartSec=0
Restart=on-abnormal
MountFlags=slave
KillMode=process
 
[Install]
WantedBy=multi-user.target
[root@dockerserver1 ~] #

3. 在dockerserver2上编辑/usr/lib/systemd/system/docker.service文件，添加docker启动选项"--bip=10.0.1.1/24"，如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
[root@dockerserver2 ~] # cat /usr/lib/systemd/system/docker.service   
[Unit]
Description=Docker Application Container Engine
Documentation=http: //docs .docker.com
After=network.target rhel-push-plugin.socket registries.service
Wants=docker-storage-setup.service
Requires=docker-cleanup.timer
 
[Service]
Type=notify
NotifyAccess=all
EnvironmentFile=- /run/containers/registries .conf
EnvironmentFile=- /etc/sysconfig/docker
EnvironmentFile=- /etc/sysconfig/docker-storage
EnvironmentFile=- /etc/sysconfig/docker-network
Environment=GOTRACEBACK=crash
Environment=DOCKER_HTTP_HOST_COMPAT=1
Environment=PATH= /usr/libexec/docker : /usr/bin : /usr/sbin
ExecStart= /usr/bin/dockerd-current  \
           --add-runtime docker-runc= /usr/libexec/docker/docker-runc-current  \
           --default-runtime=docker-runc \
           -- exec -opt native.cgroupdriver=systemd \
           --userland-proxy-path= /usr/libexec/docker/docker-proxy-current  \
           --bip=10.0.1.1 /24  \
           $OPTIONS \
           $DOCKER_STORAGE_OPTIONS \
           $DOCKER_NETWORK_OPTIONS \
           $ADD_REGISTRY \
           $BLOCK_REGISTRY \
           $INSECURE_REGISTRY\
           $REGISTRIES
ExecReload= /bin/kill  -s HUP $MAINPID
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
TimeoutStartSec=0
Restart=on-abnormal
MountFlags=slave
KillMode=process
 
[Install]
WantedBy=multi-user.target
[root@dockerserver2 ~] #


4. 在两个主机上启动docker服务

1
2
# systemctl start docker  
# systemctl enable docker


5. docker服务启动后，可以看到一个新的bridge docker0被创建出来，并且被赋予了我们之前配置的IP地址:

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@dockerserver1 ~] # brctl show
bridge name     bridge  id                STP enabled     interfaces
docker0         8000.02427076111e       no
[root@dockerserver1 ~] # ifconfig docker0
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
         inet 10.0.0.1  netmask 255.255.255.0  broadcast 0.0.0.0
         ether 02:42:70:76:11:1e  txqueuelen 0  (Ethernet)
         RX packets 0  bytes 0 (0.0 B)
         RX errors 0  dropped 0  overruns 0  frame 0
         TX packets 0  bytes 0 (0.0 B)
         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
 
[root@dockerserver1 ~] #
1
2
3
4
5
6
7
8
9
10
11
12
13
[root@dockerserver2 ~] # brctl show
bridge name     bridge  id                STP enabled     interfaces
docker0         8000.0242ba00c394       no
[root@dockerserver2 ~] # ifconfig docker0
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
         inet 10.0.1.1  netmask 255.255.255.0  broadcast 0.0.0.0
         ether 02:42:ba:00:c3:94  txqueuelen 0  (Ethernet)
         RX packets 0  bytes 0 (0.0 B)
         RX errors 0  dropped 0  overruns 0  frame 0
         TX packets 0  bytes 0 (0.0 B)
         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
 
[root@dockerserver2 ~] #


6. 在两个主机上启动openvswitch

1
2
# systemctl start openvswitch
# chkconfig openvswitch on


7. 在两个主机上创建隧道网桥br-tun，并通过VXLAN协议创建隧道

1
2
3
4
5
6
7
8
9
10
11
[root@dockerserver1 ~] # ovs-vsctl add-br br-tun
[root@dockerserver1 ~] # ovs-vsctl add-port br-tun vxlan0 -- set Interface vxlan0 type=vxlan options:remote_ip=10.10.172.204
[root@dockerserver1 ~] # brctl show 
bridge name     bridge  id                STP enabled     interfaces
docker0         8000.02427076111e       no              br-tun
 
[root@dockerserver2 ~] # ovs-vsctl add-br br-tun 
[root@dockerserver2 ~] # ovs-vsctl add-port br-tun vxlan0 -- set Interface vxlan0 type=vxlan options:remote_ip=10.10.172.203
[root@dockerserver2 ~] # brctl show
bridge name     bridge  id                STP enabled     interfaces
docker0         8000.0242ba00c394       no              br-tun


8. 将br-tun作为接口加入docker0网桥

1
2
[root@dockerserver1 ~] # brctl addif docker0 br-tun 
[root@dockerserver2 ~] # brctl addif docker0 br-tun


9. 由于两个主机的容器处于不同的网段，需要添加路由才能让两边的容器互相通信

1
2
[root@dockerserver1 ~] # ip route add 10.0.1.0/24 via 10.10.172.204 dev eth0 
[root@dockerserver2 ~] # ip route add 10.0.0.0/24 via 10.10.172.203 dev eth0


10. 在两个主机上各自启动一个docker容器，验证互相能否通信。

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@dockerserver1 ~] # docker run --rm -it centos /bin/bash         
[root@8f3cac41a7d5 /] # yum install net-tools -y
[root@8f3cac41a7d5 /] # ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
         inet 10.0.0.2  netmask 255.255.255.0  broadcast 0.0.0.0
         inet6 fe80::42:aff:fe00:2  prefixlen 64  scopeid 0x20<link>
         ether 02:42:0a:00:00:02  txqueuelen 0  (Ethernet)
         RX packets 4266  bytes 13337782 (12.7 MiB)
         RX errors 0  dropped 0  overruns 0  frame 0
         TX packets 4144  bytes 288723 (281.9 KiB)
         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
 
[root@8f3cac41a7d5 /] #
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@dockerserver2 ~] # docker run --rm -it centos /bin/bash
[root@3edc0ed8f805 /] # yum install net-tools -y
[root@3edc0ed8f805 /] # ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
         inet 10.0.1.2  netmask 255.255.255.0  broadcast 0.0.0.0
         inet6 fe80::42:aff:fe00:102  prefixlen 64  scopeid 0x20<link>
         ether 02:42:0a:00:01:02  txqueuelen 0  (Ethernet)
         RX packets 4536  bytes 13344451 (12.7 MiB)
         RX errors 0  dropped 0  overruns 0  frame 0
         TX packets 4381  bytes 301685 (294.6 KiB)
         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
 
[root@3edc0ed8f805 /] # ping 10.0.0.2
PING 10.0.0.2 (10.0.0.2) 56(84) bytes of data.
64 bytes from 10.0.0.2: icmp_seq=1 ttl=62  time =1.68 ms
^C
--- 10.0.0.2  ping  statistics ---
1 packets transmitted, 1 received, 0% packet loss,  time  0ms
rtt min /avg/max/mdev  = 1.683 /1 .683 /1 .683 /0 .000 ms
[root@3edc0ed8f805 /] #


11.查看两个docker宿主机的网卡信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@dockerserver1 ~] # ip addr list
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
     link /loopback  00:00:00:00:00:00 brd 00:00:00:00:00:00
     inet 127.0.0.1 /8  scope host lo
        valid_lft forever preferred_lft forever
     inet6 ::1 /128  scope host 
        valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
     link /ether  00:50:56:86:3e:d8 brd ff:ff:ff:ff:ff:ff
     inet 10.10.172.203 /24  brd 10.10.172.255 scope global eth0
        valid_lft forever preferred_lft forever
     inet6 fe80::250:56ff:fe86:3ed8 /64  scope link 
        valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
     link /ether  02:42:70:76:11:1e brd ff:ff:ff:ff:ff:ff
     inet 10.0.0.1 /24  scope global docker0
        valid_lft forever preferred_lft forever
     inet6 fe80::42:70ff:fe76:111e /64  scope link 
        valid_lft forever preferred_lft forever
4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN 
     link /ether  06:19:20:ae:f6:61 brd ff:ff:ff:ff:ff:ff
5: br-tun: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master docker0 state DOWN 
     link /ether  42:2c:39:7f:a2:4a brd ff:ff:ff:ff:ff:ff
[root@dockerserver1 ~] #
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@dockerserver2 ~] # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
     link /loopback  00:00:00:00:00:00 brd 00:00:00:00:00:00
     inet 127.0.0.1 /8  scope host lo
        valid_lft forever preferred_lft forever
     inet6 ::1 /128  scope host 
        valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
     link /ether  00:50:56:86:22:d8 brd ff:ff:ff:ff:ff:ff
     inet 10.10.172.204 /24  brd 10.10.172.255 scope global eth0
        valid_lft forever preferred_lft forever
     inet6 fe80::250:56ff:fe86:22d8 /64  scope link 
        valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
     link /ether  02:42:ba:00:c3:94 brd ff:ff:ff:ff:ff:ff
     inet 10.0.1.1 /24  scope global docker0
        valid_lft forever preferred_lft forever
     inet6 fe80::42:baff:fe00:c394 /64  scope link 
        valid_lft forever preferred_lft forever
4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN 
     link /ether  be:d4:64:ee:cb:29 brd ff:ff:ff:ff:ff:ff
5: br-tun: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master docker0 state DOWN 
     link /ether  6e:3d:3e:1a:6a:4e brd ff:ff:ff:ff:ff:ff
[root@dockerserver2 ~] #




本文转自 dengaosky 51CTO博客，原文链接：http://blog.51cto.com/dengaosky/2067784，如需转载请自行联系原作者
文章标签：
容器
Docker
关键词：
Docker实践
Docker主机
Docker通信
Docker跨主机
Docker主机通信
技术小阿哥
目录
相关文章
shuj
|
15天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践：Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中，云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署，以及Kubernetes集群管理的基础操作，帮助初学者快速入门云原生的世界。通过实际案例分析，我们将深入探讨这些技术在现代IT架构中的应用与影响。
shuj
56 2
花开花落的世界
|
17天前
|
Cloud Native 持续交付 Docker
Docker容器化技术：从入门到实践
Docker容器化技术：从入门到实践
花开花落的世界
42 2
以山向海
|
2月前
|
存储 数据管理 Linux
docker中使用主机路径作为数据卷
【10月更文挑战第13天】
以山向海
14 2
G0518
|
2月前
|
Kubernetes 持续交付 Docker
探索DevOps实践：利用Docker与Kubernetes实现微服务架构的自动化部署
【10月更文挑战第18天】探索DevOps实践：利用Docker与Kubernetes实现微服务架构的自动化部署
G0518
85 2
游客sjjs6jgz4gp7m1
|
2月前
|
存储 运维 云计算
探索Docker容器化：从入门到实践
在这个快速发展的云计算时代，Docker容器化技术正在改变应用的开发、部署和管理方式。本文旨在为初学者提供一个关于Docker的全面入门指南，并通过实践案例展示Docker在实际开发中的应用。我们将一起了解Docker的核心概念、基本操作、网络和存储，以及如何构建和部署一个简单的Web应用。无论你是开发者还是运维人员，本文都会帮助你快速掌握Docker的核心技能。
游客sjjs6jgz4gp7m1
56 8
代码bug生产队
|
17天前
|
数据中心 开发者 Docker
理解并实践Docker容器化技术
理解并实践Docker容器化技术
代码bug生产队
26 0
小周sir
|
2月前
|
运维 JavaScript 虚拟化
探索容器化技术：Docker的实践与应用
【10月更文挑战第9天】探索容器化技术：Docker的实践与应用
小周sir
53 3
以山向海
|
2月前
|
网络协议 网络安全 Docker
docker容器间无法通信
【10月更文挑战第4天】
以山向海
133 3
warmhearted
|
2月前
|
安全 Ubuntu 网络安全
docker中主机模式（host）
【10月更文挑战第4天】
warmhearted
67 1
爱的不是纯牛奶-47754
|
2月前
|
监控 Kubernetes 测试技术
掌握Docker网络模式：构建高效容器通信
【10月更文挑战第3天】本文深入探讨了Docker的网络模式，包括它们的工作原理、使用场景以及如何配置和优化容器间的通信。希望能够帮助开发者在项目中有效地应用Docker网络模式，构建高效的容器化应用。
爱的不是纯牛奶-47754
38 1

热门文章

最新文章

  • 1
    docker基础知识之挂载本地目录的方法
  • 2
    阿里云上搭建Docker Swarm模式集群最佳实践
  • 3
    Docker容器使用问题：Failed to get D-Bus connection: Operation not permitted
  • 4
    docker容器里安装ssh
  • 5
    docker容器刚启动就停止 — 运行mysql 报错 mysqld: [ERROR] Fatal error in defaults handling. Program aborted!
  • 6
    【Docker系列】docker-compose安装redis
  • 7
    【Linux】在Linux上安装Docker: 一站式指南
  • 8
    Docker安装Redis并使用Another Redis Desktop Manager连接
  • 9
    ❤️Docker中只需2步即可拥有Oracle 11G企业版环境,史上最快部署❤️
  • 10
    技术经验分享：Docker安装及更换源
  • 1
    docker常用命令大全（基础、镜像、容器、数据卷）
    487
  • 2
    Docker 安装迅雷NAS
    443
  • 3
    容器的优势，在Docker中运行Tomcat
    59
  • 4
    实时计算 Flink版产品使用问题之Docker镜像中的Java路径和容器内的Java路径不一致，是什么导致的
    62
  • 5
    Docker Hub 镜像拉取超时：1Panel面板中应用安装失败的临时解决方案
    2447
  • 6
    如何修改docker默认数据目录
    172
  • 7
    Docker容器网络配置详解
    440
  • 8
    docker安装rabbitmq并配置hyperf使用
    95
  • 9
    docker使用jupyter/datascience-notebook，重置密码，并且设置各类易用参数
    341
  • 10
    Docker镜像和容器使用
    136

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • Docker@Alibaba——超大规模Docker化的实战经验

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • Docker Compose部署案例
  • Docker Compose入门
  • 通过Helm CLI部署wordpress到ACK集群
  • 部署并使用Docker（Alibaba Cloud Linux 3）
  • 部署并使用Docker（CentOS 8）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    无影云桌面