AI 助理
备案控制台
开发者社区 云原生 文章 正文

利用OpenVSwitch构建多主机Docker网络

2017-09-11 2194
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文讲的是利用OpenVSwitch构建多主机Docker网络，【编者的话】当你在一台主机上成功运行Docker容器后，信心满满地打算将其扩展到多台主机时，却发现前面的尝试只相当于写了个Hello World的入门程序，多主机的网络设置成了下一道门槛。
本文讲的是利用OpenVSwitch构建多主机Docker网络， 【编者的话】当你在一台主机上成功运行Docker容器后，信心满满地打算将其扩展到多台主机时，却发现前面的尝试只相当于写了个Hello World的入门程序，多主机的网络设置成了下一道门槛。在你尝试各种方案时不妨先看看本文，或许就会豁然开朗，发现原来也不复杂。嗯，是的，本文用到了OpenVSwitch。

运行Docker已经不是什么新鲜事，网上有很多入门教程来帮助你在一台主机上运行容器。这台主机可以是Linux服务器，也可以是Mac（借助类似 boot2docker 的项目）。

在多台主机上运行却是另外一回事……

可选方案：
  • 分别在每台主机上运行Docker，在公网或内网网卡上暴露端口以便容器间相互通讯。这可能比较麻烦，而且会引发安全问题。
  • 运行类似Weave的中间层方案来完全地抽象网络。这个项目前景不错，不过还太年轻，尚未与compose（之前的fig）或maestro-ng这类编排工具整合。
  • 运行类似Deis或Flynn的Docker多主机一站式方案。这可能不在你的考虑范围内。
  • 在主机间的网状网络中创建一个共享网桥，让Docker服务在那运行容器。这听起来有点复杂，不过……本文中我们将看到这可以非常容易地完成！

multi-host-docker1.jpg

概述

基本上，我们将执行以下步骤：
  • 在每台服务器上安装Docker；
  • 在每台服务器上安装OpenVSwitch；
  • 自定义网络设置用以自动在主机间创建网桥/隧道（在每台服务器的/etc/network/interfaces里）；
  • 自定义每个Docker服务配置，只处理docker0 IP范围的一小部分，防止新容器的IP地址发生重叠。

就是这样。重启服务或重启服务器后，你将获得一个具备连接冗余（link redundancy）的全网状网络，Docker服务可以在专用的IP范围（不会重叠）上运行容器，并且不需要在公网或内网网卡上暴露所有端口就能互联。很棒，对么？

技术

简单列一下我们用到的技术：
  • Docker：嗯……这是篇关于Docker与网络的文章，所以……
  • OpenVSwitch：非常棒的虚拟网络交换机项目，伸缩性非常好，根据本指南，你可以运行“任意”规模的网络。

我们将假定服务器运行的是Ubuntu Server 14.04.02 LTS x64，对于其它系统，你可能需要修改下面提供的各项配置。

安装

Docker

无需多言，遵循 官网 提供的指南就行。稍后我们将深入其配置，以便运行于服务器上的不同Docker服务可相互协作。

OpenVSwitch

糟糕的是，默认仓库里OpenVSwitch安装包不可用（或过期了），我们需要自己构建 .deb 文件（一次），然后分发给不同主机。为了保持生产机的整洁，可另外找台小主机来安装开发包，并构建安装包。

OpenVSwitch GitHub 上有详细的构建手册。

执行下列命令来构建安装包（新版请按要求修改）： 
#获取最新存档
wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz
tar xzvf openvswitch-2.3.1.tar.gz
cd openvswitch-2.3.1

#安装依赖
sudo apt-get install -y build-essential fakeroot debhelper \
                    autoconf automake bzip2 libssl-dev \
                    openssl graphviz python-all procps \
                    python-qt4 python-zopeinterface \
                    python-twisted-conch libtool

# 构建（不使用并行检查）
DEB_BUILD_OPTIONS='parallel=8 nocheck' fakeroot debian/rules binary

# 得到最新deb文件并复制到某处
cd ..
ls -al *deb

现在你有了新的 .deb 安装包，接下来将其推送并安装到所有主机上。 
# 复制包到各主机并ssh登录
scp -r *deb user@remote_host:~/.
ssh user@remote_host

# 安装一些依赖（后面需要）并安装包
sudo apt-get install -y bridge-utils
sudo dpkg -i openvswitch-common_2.3.1-1_amd64.deb \
         openvswitch-switch_2.3.1-1_amd64.deb

配置

网络

你可以使用OpenVSwitch提供的不同命令行工具来构建网状网络（比如 ovs-vsctl ），不过Ubuntu提供了一个辅助工具让你可以通过 /etc/network/interfaces 文件定义网络。

假定三台主机：1.1.1.1、2.2.2.2和3.3.3.3，可以通过上述IP相互ping通，它们是在公网或内网上并不重要。host1的 /etc/network/interfaces 大概如下。 
...
# eth0、eth1和lo配置
...

# auto：为了有效地在主机启动时启动它
# br0=br0：防止在`ifquery --list`时被找到
auto br0=br0
allow-ovs br0
iface br0 inet manual
ovs_type OVSBridge
ovs_ports gre1 gre2
ovs_extra set bridge ${IFACE} stp_enable=true
mtu 1462

# 没有auto，这是ovs的一个额外配置
# 两台主机的gre名字必须相符
allow-br0 gre1
iface gre1 inet manual
ovs_type OVSPort
ovs_bridge br0
ovs_extra set interface ${IFACE} type=gre options:remote_ip=2.2.2.2

allow-br0 gre2
iface gre2 inet manual
ovs_type OVSPort
ovs_bridge br0
ovs_extra set interface ${IFACE} type=gre options:remote_ip=3.3.3.3

# auto：启动时创建
# 定义docker要使用的docker0，并（在可用时）连接到到OpenVSwitch创建的br0网桥上
# 每台主机需要使用不同的IP地址（不要相互冲突！）
auto docker0=docker0
iface docker0 inet static
address 172.17.42.1
network 172.17.0.0
netmask 255.255.0.0
bridge_ports br0
mtu 1462

在其它主机上要对这个配置上做些调整： remote_ip 的IP地址要相互配对。

multi-host-docker2.jpg


几点说明：
  • 生成树协议（Spanning Tree Protocol）：如果应用该配置，将在3台服务器中创建一个网络回路，这可不行。给br0网桥添加stp_enable=true将确保一些gre隧道被切断。同时确保网状网络的冗余，允许网络在其中一台主机下线时恢复。
  • MTU：这是一项关键设定！没有这项，你可能获得一些意外“惊喜”：网络看起来工作正常（比如可以ping），但无法支持大数据包（比如BW测试中的iperf、大数据量请求或简单的文件复制）。注意，GRE隧道需要封装多种协议：
    • 以太网：14字节——我们说的是网桥间的第2层；
    • IPv4：20字节——容器/主机间通讯；
    • GRE：4字节——因为，嗯，这是个GRE隧道；
    • 也就是物理网卡MTU减去38字节，结果是1462（基于常规的1500 MTU网卡）。
  • 在auto定义中使用“=”：对于具有固定IP的服务器这不是必需的，但有些云服务商（这里就不说是谁了……Digital Ocean（译者：软广再次乱入））使用了一个依靠ifquery --list --allow auto的init服务（/etc/init/cloud-init-container.conf）。不加上“=”号将包含OpenVSwitch网卡，并延迟整个启动过程直到init脚本失败并超时。
  • docker0网桥：每台服务器都需要自己的IP地址（比如172.17.42.1、172.17.42.2）。由于docker0网桥处在br0网桥之上，它们将（也应该！）可以相互连接。想象一下，要解决IP冲突会有多乱……这也是为什么我们要在启动时定义它，而不依赖docker服务来为我们创建这个网桥。
  • GRE隧道：你可以从gre0（而不是gre1）开始，它能完美工作。但由于某种原因，在输入ifconfig时你可以看到gre0，却看不到其他隧道。这可能是gre0作为虚拟网卡的一个副作用。从gre1开始将让所有的gre隧道对ifconfig“隐身”（好过于只能看见一个）。别着急，你还是可以使用ovs-vsctl命令显示隧道/网桥。
  • 3台以上主机：你可以遵循相同的逻辑，并且：
    • 添加额外的隧道（iface greX）来连接新主机。
    • 在br0网桥定义中更新ovs_ports以包含interfaces文件中定义的所有gre隧道。
    • 聪明点……不要将每台服务器跟其他主机一一链接……STP收敛（convergence）将需要更长的时间，并且无法提供任何除了多重额外链路冗余之外的有用价值。

如果现在重启服务器，你将拥有一个具备冗余的网状网络，你可以运行以下命令来测试：
  • 从host1上ping 172.17.42.2或其他IP；
  • 在主机上运行iperf，通过ifconfig查看使用中的链接；
  • 在ping第三台主机时停止“中间”那台，查看网络收敛（通过STP）时ping中断了几秒钟。

multi-host-docker3.jpg

Docker

我们现在有了一个完善的网络，每个Docker服务都可以将它们的容器挂接到 docker0 网桥上。让Docker自动完成这步不是很棒么？答案在于Docker有能力分配一个最小的IP地址池！

对于该示例，我们假定：
  • 每台主机（1.1.1.1、2.2.2.2、3.3.3.3）挂接到前面创建的docker0网桥上，其各自的IP地址是172.17.42.1、172.17.42.2、172.17.42.3；
  • 给docker0网卡指定了一个/16的IP范围；
  • 给每台主机指定了一小块docker0的IP范围，以/18 fixed-cidr的形式保存在它们的docker服务配置中。分别是172.17.64.0/18、172.17.128.0/18、172.17.192.0/18。

如果你的主机多于3台，你需要细分一个每个范围，或根据组织需要对整个网络拓扑结构进行重新考虑。

multi-host-docker4.jpg


host1的配置文件（ /etc/default/docker ）是这样的： 
BRIDGE=docker0
CIDR=172.17.64.0/18

wait_ip() {
address=$(ip add show $BRIDGE | grep 'inet ' | awk '{print $2}')
[ -z "$address" ] && sleep $1 || :
}

wait_ip 5
wait_ip 15

DOCKER_OPTS="
-H unix:///var/run/docker.sock
-H tcp://0.0.0.0:2375
--fixed-cidr=$CIDR
--bridge $BRIDGE
--mtu 1462
"

你可以根据需要修改 DOCKER_OPTS 配置，添加镜像、不安全的registry、DNS等等。

说明：
  • wait_ip：由于docker0网桥最后被创建，获取IP地址可能需要花点时间。使用wait_ip“功能”，你可以在返回docker init脚本前安全地等待几秒钟。该配置文件是被真正的init脚本（/etc/init/docker.conf）所引用。
  • mtu：与前面相同原因，只是一个预防措施，用于确保每个网卡被创建时会被指定正确的MTU。
  • -H tcp://……：如果你不想通过0.0.0.0将其“公开”（或绑定到服务器“真实”网卡之一），你也可以将它安全地绑定到……该主机的docker0 IP地址（比如172.17.42.2）！这样，你可以从任何一台主机访问到私有网状网络里的任何一个docker服务。

结语

重启一下（至少保证启动时所有东西都会自动上线）。

你可以试试以下命令看看一切是否正常。 
# 访问host1
ssh user@host1

# 运行一个新容器
docker run -ti ubuntu bash

# 检查IP（在容器内运行）
ip add | grep eth0


#
# 在其他窗口中
#
# 访问另一台主机（host2或3）
ssh user@host2

# 运行一个新容器
docker run -ti ubuntu bash

# Ping其他的容器！
ping $IP

这不是一份指导如何在多主机上设置Docker的权威指南，欢迎大家提出批评（译者注：译稿也一样，请大家多多指正）。很多想法是在整体安装时产生的，本文尽可能详细地说明了为何选择这个或那个选项。

如果将分级网桥、VLAN等包括进来，事情将更复杂，不过那超出了本文的范围。;)

显然，更完整的网络是有需求的，而且看起来这个已经在开发中。

参考内容

如果你读完本文了，恭喜！

原文链接：MULTI-HOST DOCKER NETWORK（翻译：梁晓勇 校对：宋瑜）

原文发布时间为：2015-03-06
本文作者：sean 
本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。
原文标题：利用OpenVSwitch构建多主机Docker网络
文章标签：
容器
Docker
大数据
网络协议
关键词：
Docker构建
网络构建
Docker网络
网络docker
构建网络
轩墨
目录
相关文章
陌陌谣
|
10天前
|
存储 监控 安全
单位网络监控软件：Java 技术驱动的高效网络监管体系构建
在数字化办公时代，构建基于Java技术的单位网络监控软件至关重要。该软件能精准监管单位网络活动，保障信息安全，提升工作效率。通过网络流量监测、访问控制及连接状态监控等模块，实现高效网络监管，确保网络稳定、安全、高效运行。
陌陌谣
39 11
刘大猫.
|
3天前
|
NoSQL Java Linux
《docker高级篇（大厂进阶）：2.DockerFile解析》包括：是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
《docker高级篇（大厂进阶）：2.DockerFile解析》包括：是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
刘大猫.
122 75
刘大猫.
|
10天前
|
NoSQL 关系型数据库 MySQL
《docker高级篇（大厂进阶）：4.Docker网络》包括：是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
《docker高级篇（大厂进阶）：4.Docker网络》包括：是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
刘大猫.
109 56
《docker高级篇（大厂进阶）：4.Docker网络》包括：是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
Echo_Wish
|
4天前
|
数据采集 机器学习/深度学习 人工智能
基于AI的网络流量分析：构建智能化运维体系
基于AI的网络流量分析：构建智能化运维体系
Echo_Wish
40 13
云安全专家
|
17天前
|
云安全 人工智能 安全
构建云上安全共同体 | 阿里云亮相2024年（第十三届）电信和互联网行业网络安全年会
阿里云亮相第13届电信和互联网行业网络安全年会
云安全专家
1030 7
众所周知
|
25天前
|
数据库 Docker 容器
Docker在现代软件开发中扮演着重要角色，通过Dockerfile自动化构建Docker镜像，实现高效、可重复的构建过程。
Docker在现代软件开发中扮演着重要角色，通过Dockerfile自动化构建Docker镜像，实现高效、可重复的构建过程。Dockerfile定义了构建镜像所需的所有指令，包括基础镜像选择、软件安装、文件复制等，极大提高了开发和部署的灵活性与一致性。掌握Dockerfile的编写，对于提升软件开发效率和环境管理具有重要意义。
众所周知
48 9
WangBai
|
22天前
|
安全 Docker 容器
docker的默认网络模式有哪些
Docker 默认网络模式包括：1) bridge：默认模式，各容器分配独立IP，可通过名称或IP通信；2) host：容器与宿主机共享网络命名空间，性能最优但有安全风险；3) none：容器隔离无网络配置，适用于仅需本地通信的场景。
WangBai
35 6
mrq4nk6ni2neg
|
21天前
|
机器学习/深度学习 人工智能 算法
深度学习入门：用Python构建你的第一个神经网络
在人工智能的海洋中，深度学习是那艘能够带你远航的船。本文将作为你的航标，引导你搭建第一个神经网络模型，让你领略深度学习的魅力。通过简单直观的语言和实例，我们将一起探索隐藏在数据背后的模式，体验从零开始创造智能系统的快感。准备好了吗？让我们启航吧！
mrq4nk6ni2neg
54 3
龙大吉
|
25天前
|
存储 缓存 监控
Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
龙大吉
64 7
历年考试不作弊
|
28天前
|
数据采集 XML 存储
构建高效的Python网络爬虫：从入门到实践
本文旨在通过深入浅出的方式，引导读者从零开始构建一个高效的Python网络爬虫。我们将探索爬虫的基本原理、核心组件以及如何利用Python的强大库进行数据抓取和处理。文章不仅提供理论指导，还结合实战案例，让读者能够快速掌握爬虫技术，并应用于实际项目中。无论你是编程新手还是有一定基础的开发者，都能在这篇文章中找到有价值的内容。
历年考试不作弊
82 3

热门文章

最新文章

  • 1
    Docker 镜像第三方加速器（非官方）配置指南
  • 2
    Docker 镜像加速器配置指南
  • 3
    《docker高级篇（大厂进阶）：7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括：原生命令、是什么、compose容器编排，一套带走
  • 4
    将本地的应用程序打包成Docker镜像
  • 5
    11 个必备 Docker 工具
  • 6
    在Docker容器中运行打包好的应用程序
  • 7
    《docker高级篇（大厂进阶）：2.DockerFile解析》包括：是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
  • 8
    docker基础篇：安装tomcat
  • 9
    《docker高级篇（大厂进阶）：5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
  • 10
    如何监控Docker Swarm集群的性能？
  • 1
    【网络原理】——图解HTTPS如何加密（通俗简单易懂）
    14
  • 2
    【网络原理】——HTTP请求头中的属性
    19
  • 3
    【网络原理】——HTTP协议、fiddler抓包
    18
  • 4
    【网络原理】——带你认识IP~（长文~实在不知道取啥标题了）
    16
  • 5
    【网络原理】——拥塞控制，延时/捎带应答，面向字节流，异常情况
    20
  • 6
    【JavaEE】——初始网络原理
    12
  • 7
    浅析Kismet：无线网络监测与分析工具
    21
  • 8
    基于改进遗传优化的BP神经网络金融序列预测算法matlab仿真
    103
  • 9
    基于GRNN广义回归网络和MFCC的语音情绪识别matlab仿真,对比SVM和KNN
    10
  • 10
    HTTP代理IP纯净度 提升用户网络体验的核心竞争力
    15

    • 相关课程

    更多
  • 企业上云攻略-阿里云网络产品应用系列教程
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • Docker完全自学手册图文教程
  • 网络管理者必知-2分钟了解新出台的《网络安全法》
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • Docker@Alibaba——超大规模Docker化的实战经验

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • Docker Compose部署案例
  • Docker Compose入门
  • 部署并使用Docker（Alibaba Cloud Linux 3）
  • 部署并使用Docker（CentOS 8）
  • 部署并使用Docker（Alibaba Cloud Linux 2）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    DataWorks售前咨询