通过bonding技术实现网络负载均衡及冗余

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

第二种模式:mod=1,即: (active-backup) Active-backup policy(主-备份策略) 特点:只有一个设备处于活动状态,当 一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得,从外面看来,bond的MAC地址是唯一的,以避免switch(交换机)发生混乱。此模式只提供了容错能力;由此可见此算法的优点是可以提供高网络连接的可用性,但是它的资源利用率较低,只有一个接口处于工作状态,在有 N 个网络接口的情况下,资源利用率为1/N 

第三种模式:mod=2,即:(balance-xor) XOR policy(平衡策略)

特点:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力

第四种模式:mod=3,即:broadcast(广播策略)

特点:在每个slave接口上传输每个数据包,此模式提供了容错能力

第五种模式:mod=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 动态链接聚合)

特点:创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。

外 出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是, 并不是所有的传输策略都是802.3ad适应的,尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。 必要条件:

条件1:ethtool支持获取每个slave的速率和双工设定

条件2:switch(交换机)支持IEEE 802.3ad Dynamic link aggregation

条件3:大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

第六种模式:mod=5,即:(balance-tlb) Adaptive transmit load balancing(适配器传输负载均衡)

特点:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。 该模式的必要条件:ethtool支持获取每个slave的速率

第七种模式:mod=6,即:(balance-alb) Adaptive load balancing(适配器适应性负载均衡)

特点:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。

来 自服务器端的接收流量也会被均衡。当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时,







bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是:每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部刘翔当前的slave。这个问题通过给所有的对端发送更新 (ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布。接收的负载被顺序地分布(round robin)在bond中最高速的slave上

当某个链路被重新接上,或者 一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答 不会被switch(交换机)阻截。 必要条件:

条件1:ethtool支持获取每个slave的速率;

条件2:底层驱动支持设置 某个设备的硬件地址,从而使得总是有个

slave(curr_active_slave)使用bond的硬件地址,同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址将会被新选出来的 curr_active_slave接管

其实mod=6与mod=0的区别:mod=6,先把eth0流量占满,再占

eth1,....ethX;而mod=0的话,会发现2个口的流量都很稳定,基本一样的带宽。而mod=6,会发现第一个口流量很高,第2个口只占了小部分流量

2、bonding驱动选项

Bonding驱动的选项是通过在加载时指定参数来设定的。可以通过insmod或modprobe命令的命令行参数来指定,但通常在/etc/modprobe.conf配置文件中指定,或其他的配置文件中

下 面列出可用的bonding驱动参数。如果参数没有指定,驱动会使用缺省参数。刚开始配置bond的时候,建议在一个终端窗口中运行"tail -f

/var/log/messages"来观察bonding驱动的错误信息【译注:/var/log/messages一般会打印内核中的调试信息】

有些参数必须要正确的设定,比如miimon、arp_interval和arp_ip_target,否则在链接故障时会导致严重的网络性能退化。很少的设备不支持miimon,因此没有任何理由不使用它们。

有些选项不仅支持文本值的设定,出于兼容性的考虑,也支持数值的设定,比如,"mode=802.3ad"和"mode=4"效果是一样的

具体的参数列表: 1)primay

指 定哪个slave成为主设备(primary device),取值为字符串,如eth0,eth1等。只要指定的设备可用,它将一直是激活的slave。只有在主设备(primary device)断线时才会切换设备。这在希望某个slave设备优先使用的情形下很有用,比如,某个slave设备有更高的吞吐率

注意: primary选项只对active-backup模式有效








2)updelay

指定当发现一个链路恢复时,在激活该链路之前的等待时间,以毫秒计算。该选项只对miimon链路侦听有效。updelay应该是miimon值的整数倍,如果不是,它将会被向下取整到最近的整数。缺省值为0

3)arp_interval

指 定ARP链路监控频率,单位是毫秒(ms)。如果APR监控工作于以太兼容模式(模式0和模式2)下,需要把switch(交换机)配置为在所有链路上均 匀的分发网络包。如果switch(交换机)被配置为以XOR方式分发网络包,所有来自ARP目标的应答将会被同一个链路上的其他设备收到,这将会导致其 他设备的失败。ARP监控不应该和miimon同时使用。设定为0将禁止ARP监控。缺省值为0

4)arp_ip_target

指 定一组IP地址用于ARP监控的目标,它只在arp_interval > 0时有效。这些IP地址是ARP请求发送的目标,用于判定到目标地址的链路是否工作正常。该设定值为ddd.ddd.ddd.ddd格式。多个IP地址通 过逗号分隔。至少指定一个IP地址。最多可以指定16个IP地址。缺省值是没有IP地址

5)downdelay

指定一个时间,用于在发现链路故障后,等待一段时间然后禁止一个slave,单位是毫秒(ms)。该选项只对miimon监控有效。downdelay值应该是miimon值的整数倍,否则它将会被取整到最接近的整数倍。缺省值为0

6)lacp_rate

指定在802.3ad模式下,我们希望的链接对端传输LACPDU包的速率。可能的选项:

(1)slow 或者 0

请求对端每30s传输LACPDU (2)fast 或者 1

请求对端每1s传输LACPDU (3)缺省值是slow

7)max_bonds

为bonding驱动指定创建bonding设备的数量。比如:如果max_bonds为3,而且bonding驱动还没有加载,那么bond0,bond1,bond2将会被创建。缺省值为1

6)miimon

指定MII链路监控频率,单位是毫秒(ms)。这将决定驱动检查每个slave链路状态频率

0表示禁止MII链路监控。100可以作为一个很好的初始参考值。下面的

use_carrier选项将会影响如果检测链路状态。更多的信息可以参考“高可靠性”章节。缺省值为0








8)mode

指定bonding的策略。缺省是balance-rr (round robin,循环赛)。可选的mode包括:0,1,2,3,4,5,6

3、bonding链路监测方法

官方文档里说有两种针对链路的监测方法(注意:这两种监测不能同时使用)

第一种:miimon(这种方法是最常见的,此方法使用系统的mii-tool命令进行监测)

模块加载设置(/etc/modprobe.conf): # Start of bonding configure alias bond0 bonding

options bond0 miimon=100 mode=1

注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing (round-robin)状态

options bond0 miimon=100 mode=0

注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing ((active-backup))状态

root@Web:~# mii-tool

eth0: negotiated 100baseTx-HD, link ok eth1: negotiated 100baseTx-HD, link ok

缺 点:这种方法,只能监测交换机与该网卡之间的链路;如果它们之外的链路的地方断了,而交换机本身没有问题,也就是说你的网卡和交换机之间还是UP状态,它 是不会认为网络中断,除非你的网卡是DOWN状态,它才会把链路转到另一块网卡上,就像是拔掉网线一样,或者把交换机端口shutdown一样

第二种:arp(这种方法比较实用,你可以把它看作是arp的ping(二层ping),但是可能会给网关造成一定的压力)

模块加载:

alias bond0 bonding

options bond0 arp_interval=100 arp_ip_target=192.168.1.1 mode=active-backup primary=eth0 解析如下:

arp_interval=100,表示arp的检测时间,等同于miimon=100的作用

arp_ip_target=192.168.1.1,表示arp检测的目标IP,必须是同网段的,最好就是网关

注意:如果使用arp来ping网关不通,那么在/proc/net/bonding/bond0里会一会down,一会up的

优点:使用arp这种方法,如果交换机的上出现问题,网络不通,它就会把链转到另一块网卡上,但是不管是哪种方法,在第一块网卡出现问题,链路转到







第二块后,如果第一块恢复正常,链路自己不会恢复的




多网卡绑定:

把多张网卡帮成虚拟的一个网卡,使用该虚拟的网卡进行数据传输,速度在理论上是网卡N



eth0---\

--bond010.1.1.21 ---->

eth1---/




物理连接图:

eth0---\

----switch ----

eth1---/





必须:

绑定的网卡型号,速度应该一致。






rhel6:


1、加载对应的绑定网卡使用的驱动模块。


# modprobe bonding mode=0 miimon=100


mode设定工作模式

负载均衡模式(两个网卡同时使用,理论上带宽翻倍)

高可用模式(其中一个网卡工作,另外的网卡备用)


miimon=100 100毫秒对网卡进行检测。





2、激活虚拟网卡(绑定后的逻辑网卡,以后配置IP的就是该网卡,物理网卡不需要配置IP


rhel6必须先把NetworkManager关闭:

# service NetworkManager stop

# chkconfig NetworkManager off


# ifconfig bond0 10.1.1.28netmask 255.255.255.0 up


# ifenslave bond0 eth0 eth1 <---把物理网卡eth0,eth1绑定到bond0


表面上看,配置了IP和发送数据都是使用bond0,实际上是bonding软件驱动,使用物理网卡在底层发送数据。


# ifconfig

bond0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

inet addr:10.1.1.28 Bcast:10.1.1.255 Mask:255.255.255.0

inet6 addr: fe80::5054:ff:fec3:b857/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1

。。。。


eth0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。


eth1 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。





临时取消绑定:


# ifenslave -d bond0 eth0 eth1


# ifconfig bond0 down


# rmmod bonding <--卸载模块


永久取消绑定

rm -rf ifcfg-bond0 。

vim /etc/modprobe.d/dist.conf

删除 alias bond0 bonding 

options bond0 miimon=100 mode=1

service network restart


方法2编写配置文件


# vim /etc/modprobe.d/dist.conf


alias bond0 bonding

options bonding miimon=100 mode=0


# vim/etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

ONBOOT=yes

BOOTPROTO=static

IPADDR=1.1.1.138

NETMASK=255.255.255.0

NM_CONTROLLED="no" 《——————该接口不许要用NetworkManager是管理

MASTER=yes


# vim/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="none"

HWADDR="52:54:00:C3:B8:57"

NM_CONTROLLED="no" ---

ONBOOT="yes"

MASTER=bond0

SLAVE=yes


# vim/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE="eth1"

BOOTPROTO="none"

HWADDR="52:54:00:42:C1:8A"

NM_CONTROLLED="no" ----

ONBOOT="yes"

MASTER=bond0

SLAVE=yes


# service network restart



测试

在绑定的机器上看网卡流量:

# watch "ifconfig |grep 'RX packets'




 |head -3 |tail -2"

Every 2.0s: ifconfig |grep 'RX packets' |... Wed Jan 2 03:22:42 2013


RX packets:9532 errors:0 dropped:0 overruns:0 frame:0

RX packets:9470 errors:0 dropped:0 overruns:0 frame:0



从另外一台机器发送大文件到绑定的机器








      本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1283275,如需转载请自行联系原作者






相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
5天前
|
SQL 安全 网络安全
云计算与网络安全:技术融合下的信息安全挑战与应对
【9月更文挑战第36天】在数字化浪潮的推动下,云计算已成为企业和个人不可或缺的技术支撑。然而,随着云服务的广泛应用,网络安全问题亦日益凸显。本文深入探讨了云计算环境下的网络安全挑战,并提出了相应的安全策略和技术解决方案。通过分析云服务的安全架构、网络攻击类型以及防御机制,旨在为读者提供一套完整的云计算网络安全指南。
|
8天前
|
存储 安全 网络安全
云计算与网络安全:技术融合下的安全挑战与机遇
【9月更文挑战第33天】随着云计算技术的飞速发展,企业和个人越来越依赖于云服务来处理和存储数据。然而,这也带来了前所未有的网络安全威胁。本文将探讨云计算环境下的网络安全挑战,包括数据泄露、身份盗用等,并讨论如何通过加强访问控制、使用加密技术和实施安全策略来保护信息安全。文章还将分享一些实际的代码示例,帮助读者更好地理解和应用这些安全措施。
114 70
|
1天前
|
安全 网络协议 算法
HTTPS网络通信协议揭秘:WEB网站安全的关键技术
HTTPS网络通信协议揭秘:WEB网站安全的关键技术
12 4
HTTPS网络通信协议揭秘:WEB网站安全的关键技术
|
3天前
|
存储 安全 网络安全
云计算与网络安全:技术融合与挑战
在数字化时代,云计算和网络安全成为了技术发展的两大支柱。本文将探讨云计算服务如何改变数据存储与处理方式,并分析随之而来的网络安全挑战。我们将讨论云服务模型、网络安全策略以及信息安全实践,旨在为读者提供对这一领域深入理解的同时,引发对于未来技术发展方向的思考。
23 13
|
2天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全的技术探讨
在当今数字化时代,云计算和网络安全已成为企业和个人用户不可或缺的技术。本文将深入探讨云计算的基本概念、云服务类型、网络安全的重要性、信息安全的关键要素以及如何确保数据安全。通过分析这些技术领域的发展趋势和挑战,我们将为读者提供关于如何在云环境中保护数据安全的实用建议。
|
1天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的探讨
随着云计算技术的迅速发展,越来越多的企业和个人开始使用云服务。然而,云计算在带来便利的同时,也带来了一系列的网络安全问题。本文将从云计算的基本概念出发,深入探讨云计算与网络安全的关系,包括云服务的安全问题、网络安全防护措施以及信息安全的重要性。同时,本文还将通过代码示例,展示如何在云计算环境下进行有效的网络安全防护。
|
3天前
|
存储 安全 网络安全
网络安全与信息安全:构建安全防线的关键技术与策略
本文旨在探讨网络安全和信息安全的重要性,通过分析网络安全漏洞、加密技术以及安全意识等关键领域,揭示构建稳固网络防线的必要技术和策略。我们将从技术角度出发,深入浅出地介绍如何识别和防范潜在的网络威胁,以及如何通过教育和培训提高个人和组织的安全意识。
|
5天前
|
运维 物联网 5G
5G网络的多接入技术融合:构建无缝通信未来
5G网络的多接入技术融合:构建无缝通信未来
32 4
|
3天前
|
边缘计算 人工智能 网络协议
探索未来网络:从IPv4到IPv6的技术变革
在当今数字化时代,互联网已成为人类社会不可或缺的一部分。随着物联网、人工智能和大数据等新兴技术的发展,对网络地址空间的需求呈爆炸性增长。本文旨在探讨从IPv4到IPv6的技术变革,分析其背后的驱动力、面临的挑战以及未来的发展方向。通过对现有技术的深入解析和前瞻性思考,我们希望为读者提供一个全面而清晰的未来网络发展蓝图。
|
3天前
|
存储 安全 网络安全
云计算与网络安全:技术融合与挑战
在数字化浪潮的推动下,云计算已成为企业和个人存储、处理数据的新常态。然而,随之而来的网络安全问题也日益凸显,成为制约云服务发展的关键因素。本文将深入探讨云计算环境下的网络安全挑战,分析信息安全的重要性,并提供针对性的技术解决方案。通过实际代码示例,我们将展示如何在实践中增强云服务的安全性,确保数据的安全与隐私得到保护。文章旨在为读者提供一套完整的云计算与网络安全知识体系,帮助理解并应对这一领域的技术挑战。
10 0