使用阿里云vpc 路由表实现Docker容器跨主机通讯。

简介: 使用阿里云vpc 路由表实现Docker容器跨主机通讯。

前言:Docker的5种网络模式



Bridge

此时docker引擎会创建一个veth对,一端连接到容器实例并命名为eth0,另一端连接到指定的网桥中(比如docker0),因此同在一个主机的容器实例由于连接在同一个网桥中,它们能够互相通信。容器创建时还会自动创建一条SNAT规则,用于容器与外部通信时,类似家里上网用的ISP提供给我们的动态IP。如果用户使用了-p或者-P端口,还会创建对应的端口映射规则,使得外部请求能够访问容器的服务,但是你不能通过IP直接访问,本文提供了3种方式实现容器的跨主机访问。


Host

与宿主机共享网络,此时容器没有使用网络的namespace,宿主机的所有设备,会暴露到容器中,因此存在安全隐患。


None

不设置网络,相当于容器内没有配置网卡,用户可以手动配置。


Container

指定与某个容器实例共享网络


(国内工单技术支持群---群文件有这块说明可以自己download看下)

1. 使用直接路由方式打通跨主机的容器网络互通:


这种方式最简单,只需vpc里面添加自定义路由就可以实现,步骤如下:


(1)把主机网卡的转发开启,cat /proc/sys/net/ipv4/ip_forward cat /proc/sys/net/ipv4/conf/eth0/forwarding  # 0代表关闭,1代表开启


(2)定义两个主机的docker网段,可以在/etc/docker/daemon.json 配置文件里面添加 "bip": "169.254.123.1/24" 来做定义 # 其中169.254.123.1/24可以替换为您真实想设置的网段类型,注意不要和vpc的交换机网段冲突!



2 实验环境配置如下


(1)vpc地址段:192.168.0.0/16 两个主机的docker网段信息如下:


docker1 i-8vb6dyu0clj3b538e1yh  vpc:vpc-8vbuj466yjq2b5mjwwluu  私网IP地址:192.168.1.196  公网IP地址:39.103.187.202。docker网段:10.0.0.1/24


docker2 i-8vbbhvwcbk9yjeigcctn  vpc:vpc-8vbuj466yjq2b5mjwwluu  私网IP地址:192.168.1.197  公网IP地址:39.103.138.241   docker网段: 10.1.0.1/24


(2) 创建container

vm1 执行:docker run -it --name=test1 centos,对应容器IP为:10.0.0.2


vm2执行:docker run -it --name=test1 centos,对应容器IP为:10.1.0.2


在vm1上的centos 容器中ping 10.1.0.2,和预期一致,是无法ping通的。


[root@0c577544fdd2 /]# ip a1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

   inet 127.0.0.1/8 scope host lo

      valid_lft forever preferred_lft forever

   inet6 ::1/128 scope host

      valid_lft forever preferred_lft forever

12: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default

   link/ether 02:42:0a:00:00:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0

   inet 10.0.0.2/24 scope global eth0

      valid_lft forever preferred_lft forever

   inet6 fe80::42:aff:fe00:2/64 scope link

      valid_lft forever preferred_lft forever

[root@0c577544fdd2 /]# ping 10.1.0.2

PING 10.1.0.2 (10.1.0.2) 56(84) bytes of data.



梳理下docker及docker容器在Linux宿主机网络模块中做的操作,梳理清楚之后会发现打通不同宿主机上docker容器的方法非常简单。从宿主Linux系统的视角看操作系统中的网络设备,总结如下:


  • docker0接口:网桥,在安装完docker后默认被创建,网段是172.17.0.0/16,网桥的默认IP地址为172.17.0.1,可以修改/etc/docker/daemon.json 文件修改默认的容器网段
  • br-xxxx接口:网桥,在创建完自定义docker网络完被创建,网段是被用户指定的172.18.0.0/16,网桥的默认IP地址为172.18.0.1。
  • vethxxxx接口:veth网络接口,在创建一个具体的docker容器后被创建,如果有N个运行的容器,就会有N个veth网络接口。容器中的eth0接口和宿主机的veth网络接口是一个veth网络对,Linux上的veth接口作为一个端口连接入docker网桥,如docker0或其他自定义网桥。这也是为什么一个宿主机上的docker容器能够默认通信的原因,因为它们创建后就被接入到了同一个网桥上。  



可以看下上图,容器的请求会通过虚拟网卡转给docker0----然后docker0再把请求给vm1的eth0,这个情况可以利用vpc路由表直接实现网络的通信,配置如下


把访问10.0.0.0/24的流量,通过vpc路由表转给i-8vb6dyu0clj3b538e1yh做处理


把访问10.1.0.0/24的流量,通过vpc路由表转给i-8vbbhvwcbk9yjeigcctn做处理



配置完毕后,通过vm1的机器直接去访问10.1.0.2发现不通,通过抓包看请求已经到了vm2的eth0网卡上面,但是没有到vm2容器的网卡,这种情况一般有如下可能性:

(1)vm2的网卡转发没有开启,经过验证转发是没有问题的


(2)进一步分析iptables规则发现默认FORWARD这个转发连是拒绝了的,这个情况导致了请求被iptables拦截了,执行iptables -P FORWARD ACCEPT恢复!






ps:如果在遇到类似case可以把相关方案给客户,但是也告知客户这样做有潜在风险,不建议使用到生产上面,因为容器他的IP地址是不固定的,例如意外原因容器重建了就会导致IP地址发生变动,最优方案可以考虑使用hostnetwork 网络模式,直接通过宿主机的端口进行通信,或者使用Kubernetes!







相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
9月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
912 6
|
9月前
|
监控 Linux 调度
【赵渝强老师】Docker容器的资源管理机制
本文介绍了Linux CGroup技术及其在Docker资源管理中的应用。通过实例演示了如何利用CGroup限制应用程序的CPU、内存和I/O带宽使用,实现系统资源的精细化控制,帮助理解Docker底层资源限制机制。
840 6
|
弹性计算 监控 开发工具
【阿里云弹性计算】阿里云ECS的网络优化实践:VPC配置与网络性能提升
【5月更文挑战第29天】阿里云ECS通过虚拟私有云(VPC)提供高性能、安全的网络环境。VPC允许用户自定义IP地址、路由规则和安全组。配置包括:创建VPC和交换机,设定安全组,然后创建ECS实例并绑定。优化网络性能涉及规划网络拓扑、优化路由、启用网络加速功能(如ENI和EIP)及监控网络性能。示例代码展示了使用Python SDK创建VPC和交换机的过程。
892 3
|
弹性计算 运维 负载均衡
课时3:阿里云专有网络VPC:让网络更加独立
阿里云专有网络VPC提供独立、安全的云上网络环境,支持自定义IP地址网段和灵活的路由配置。通过高速通道实现优质网络链路,可用性达99.95%,满足企业高要求的数据传输需求。VPC结合弹性公网IP、负载均衡SLB、Net网关等功能,帮助企业轻松管理网络资源,降低运维成本,实现高效、安全的混合云架构部署。
374 0
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
753 0
|
敏捷开发 网络协议 测试技术
阿里云云效产品使用合集之在vpc网络里,如何升级agent
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
弹性计算 关系型数据库 数据库
【阿里云助力企业数字化转型:专有网络、ECS、RDS等一网打尽】
数字化转型已经成为企业发展的必然趋势,而阿里云作为我国领先的云计算服务提供商,为企业提供了一整套完善的云服务解决方案。本文将详细介绍阿里云的专有网络VPC、云服务器ECS、云数据RDS、云数据库Redis、Serverless容器集群ASK、微服务引擎MSE、云效以及云速搭CADT等产品,帮助企业轻松实现数字化转型。 正文:
482 3