AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

搭建高可用负载均衡器: haproxy+keepalived

2018-07-11 9493
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
传统型负载均衡 CLB，每月750个小时 15LCU
推荐场景：
搭建高可用的微信/支付宝小程序服务
应用型负载均衡 ALB，每月750个小时 15LCU
网络型负载均衡 NLB，每月750个小时 15LCU
简介： 企业业务量比较小的时候，单台服务器就可以满足业务需要了。但是随着业务发展，单服务器的问题就凸显出来了，如何透明的扩展服务器和带宽，增加服务器吞吐量呢？负载均衡器可以解决以上问题。

企业业务量比较小的时候，单台服务器就可以满足业务需要了。但是随着业务发展，单服务器的问题就凸显出来了：

  • 当服务器挂掉时，业务就会中断
  • 当业务量增加，单台服务器性能变差，如何透明的扩展服务器和带宽，增加服务器吞吐量

负载均衡器可以解决以上问题

1 负载均衡器拓扑图

loadbalancer

本文会根据拓扑图，用haproxy和keepalived搭建一个负载均衡器

2 准备

2.1 准备环境

准备5台CentOS7.3主机和一个VIP地址:

  • 准备一个可用IP用作虚拟IP(VIP):

    • VIP: 192.168.1.100

  • 负载均衡器会用到2台主机，一主一备的架构

    • lb1(默认为主): 192.168.1.101
    • lb2(默认为备): 192.168.1.102

  • 后端服务器集群中主机的IP地址

    • s1: 192.168.1.2
    • s2: 192.168.1.3
    • s3: 192.168.1.4

2.2 主机配置

2.2.1 所有主机上关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2.2.2 所有主机关闭selinux

setenforce 0
vi /etc/selinux/config
SELINUX=disabled

2.3 安装haproxy和keepalived

lb1和lb2上安装haproxy和keepalived

yum install haproxy keepalived -y

2.4 安装nginx(有其他后端测程序，可省略此步)

s1 s2 s3上安装nginx，目的是把nginx作为后端，如果有其他后端程序，这一步可以省略

yum install epel-release -y
yum install nginx -y

2.3 配置keepalived

KeepAlived是基于VRRP(Virtual Router Redundancy Protocol，虚拟路由冗余协议)实现的一个高可用方案，通过VIP（虚拟IP）和心跳检测来实现高可用

Keepalived有两个角色，Master和Backup。一般会是１个Master,多个Backup。

Master会绑定VIP到自己网卡上，对外提供服务。Master和Backup会定时确定对方状态，当Master不可用的时候，Backup会通知网关，并把VIP绑定到自己的网卡上，实现服务不中断，高可用

2.3.1　配置Master

编辑lb1(192.168.1.101)上的/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   # 通知邮件服务器的配置
   notification_email {
     # 当master失去VIP或则VIP的时候，会发一封通知邮件到your-email@qq.com
     your-email@qq.com
   }
   # 发件人信息
   notification_email_from keepalived@qq.com
   # 邮件服务器地址
   smtp_server 127.0.0.1
   # 邮件服务器超时时间
   smtp_connect_timeout 30
   # 邮件TITLE
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    # 主机: MASTER
    # 备机: BACKUP
    state MASTER
    # 实例绑定的网卡, 用ip a命令查看网卡编号
    interface eno16777984
    # 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样
    virtual_router_id 88
    # 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器
    priority 100
    # 主备之间同步检查的时间间隔单位秒
    advert_int 1
    # 验证类型和密码
    authentication {
        # 验证类型有两种 PASS和HA
        auth_type PASS
        # 验证密码，在一个实例中主备密码保持一样
        auth_pass 11111111
    }
    # 虚拟IP地址,可以有多个，每行一个
    virtual_ipaddress {
        192.168.1.100
    }
}

virtual_server 192.168.1.100 443 {
    # 健康检查时间间隔
    delay_loop 6
    # 调度算法
    # Doc: http://www.keepalived.org/doc/scheduling_algorithms.html
    # Round Robin (rr)
    # Weighted Round Robin (wrr)
    # Least Connection (lc)
    # Weighted Least Connection (wlc)
    # Locality-Based Least Connection (lblc)
    # Locality-Based Least Connection with Replication (lblcr)
    # Destination Hashing (dh)
    # Source Hashing (sh)
    # Shortest Expected Delay (seq)
    # Never Queue (nq)
    # Overflow-Connection (ovf)
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP
    # 通过调度算法把Master切换到真实的负载均衡服务器上
    # 真实的主机会定期确定进行健康检查，如果MASTER不可用，则切换到备机上
    real_server 192.168.1.101 443 {
        weight 1
        TCP_CHECK {
            # 连接超端口
            connect_port 443
            # 连接超时时间
            connect_timeout 3
        }
    }
    real_server 192.168.1.102 443 {
        weight 1
        TCP_CHECK {
            connect_port 443
            connect_timeout 3
        }
    }
}

2.3.2　配置BACKUP

编辑lb2(192.168.1.102)上的/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   # 通知邮件服务器的配置
   notification_email {
     # 当master失去VIP或则VIP的时候，会发一封通知邮件到your-email@qq.com
     your-email@qq.com
   }
   # 发件人信息
   notification_email_from keepalived@qq.com
   # 邮件服务器地址
   smtp_server 127.0.0.1
   # 邮件服务器超时时间
   smtp_connect_timeout 30
   # 邮件TITLE
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    # 主机: MASTER
    # 备机: BACKUP
    state BACKUP
    # 实例绑定的网卡, 用ip a命令查看网卡编号
    interface eno16777984
    # 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样
    virtual_router_id 88
    # 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器
    priority 99
    # 主备之间同步检查的时间间隔单位秒
    advert_int 1
    # 验证类型和密码
    authentication {
        # 验证类型有两种 PASS和HA
        auth_type PASS
        # 验证密码，在一个实例中主备密码保持一样
        auth_pass 11111111
    }
    # 虚拟IP地址,可以有多个，每行一个
    virtual_ipaddress {
        192.168.1.100
    }
}

virtual_server 192.168.1.100 443 {
    # 健康检查时间间隔
    delay_loop 6
    # 调度算法
    # Doc: http://www.keepalived.org/doc/scheduling_algorithms.html
    # Round Robin (rr)
    # Weighted Round Robin (wrr)
    # Least Connection (lc)
    # Weighted Least Connection (wlc)
    # Locality-Based Least Connection (lblc)
    # Locality-Based Least Connection with Replication (lblcr)
    # Destination Hashing (dh)
    # Source Hashing (sh)
    # Shortest Expected Delay (seq)
    # Never Queue (nq)
    # Overflow-Connection (ovf)
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP
    # 通过调度算法把Master切换到真实的负载均衡服务器上
    # 真实的主机会定期确定进行健康检查，如果MASTER不可用，则切换到备机上
    real_server 192.168.1.101 443 {
        weight 1
        TCP_CHECK {
            # 连接超端口
            connect_port 443
            # 连接超时时间
            connect_timeout 3
        }
    }
    real_server 192.168.1.102 443 {
        weight 1
        TCP_CHECK {
            connect_port 443
            connect_timeout 3
        }
    }
}

2.4 配置haproxy

编辑lb1(192.168.1.101)和lb2(192.168.1.102)上的/etc/haproxy/haproxy.cfg
把后端服务器IP(192.168.1.2, 192.168.1.3, 192.168.1.4)加到backend里

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4096
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

listen stats
    bind    *:9000
    mode    http
    stats   enable
    stats   hide-version
    stats   uri       /stats
    stats   refresh   30s
    stats   realm     Haproxy\ Statistics
    stats   auth      admin:admin


frontend  k8s-api
    bind *:443
    mode tcp
    option tcplog
    tcp-request inspect-delay 5s
    tcp-request content accept if { req_ssl_hello_type 1 }
    default_backend k8s-api-backend

backend k8s-api-backend
    mode tcp
    option tcplog
    option tcp-check
    balance roundrobin
    server master1 192.167.1.2:80 maxconn 1024 weight 5 check
    server master2 192.167.1.3:80 maxconn 1024 weight 5 check
    server master3 192.167.1.4:80 maxconn 1024 weight 5 check

2.5 配置nginx

给nginx添加SSL证书，配置过程略

vi /usr/share/nginx/html/index.html

把index.html里面字符串Welcome to nginx改成Welcome to nginx HA

3 启动服务

3.1 启动nginx

sudo systemctl start nginx
sudo systemctl enable nginx

3.2 启动haproxy

sudo systemctl start haproxy
sudo systemctl enable haproxy

3.3 启动keepalived

sudo systemctl start keepalived
sudo systemctl enable keepalived

在MASTER上运行ip a

 eno16777984: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:xx:xx:xx:3d:0c brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.101/24 brd 192.168.1.255 scope global eno16777984
       valid_lft forever preferred_lft forever
    inet 192.168.1.100/32 scope global eno16777984
       valid_lft forever preferred_lft forever
    inet6 eeee:eeee:1c9d:2009:250:56ff:fe9c:3d0c/64 scope global noprefixroute dynamic
       valid_lft 7171sec preferred_lft 7171sec
    inet6 eeee::250:56ff:eeee:3d0c/64 scope link
       valid_lft forever preferred_lft forever

会发现VIP(192.168.1.100)已经绑定好了

inet 192.168.1.100/32 scope global eno16777984
       valid_lft forever preferred_lft forever

如果发现VIP无法绑定

vi /etc/sysctl.conf

添加两行

net.ipv4.ip_forward = 1
net.ipv4.ip_nonlocal_bind = 1

让新配置生效

sysctl -p

4 验证

4.1 查看状态

1. 在浏览器输入 http://192.168.1.100:9000/stats 查看haproxy状态
2. 在浏览器输入 https://192.168.1.100 查看服务状态
   是否成功显示为nginx欢迎页面

4.2 主备切换

1. 在浏览器输入 https://192.168.1.100 查看是否成功显示nginx欢迎页面
2. lb1(192.168.1.101)关机，查看是否还可以访问https://192.168.1.100， 如果成功，则说明VIP成功切换到备机
3. 在lb2(192.168.1.102)上执行ip a，查看网卡是否绑定VIP(192.168.1.100)
3. 启动lb1(192.168.1.101)
   目的是为了验证VIP是否切回MASTER主机(因为MASTER端的配置文件中priority为100，而BACKUP为99，health check会自动把VIP绑定到priority高的主机上)
文章标签：
负载均衡
应用服务中间件
Shell
算法
nginx
数据安全/隐私保护
Unix
负载均衡
网络安全
网络协议
调度
关键词：
负载均衡高可用
负载均衡keepalived
负载均衡haproxy keepalived
负载均衡haproxy
高可用负载均衡keepalived
相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改，快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
xiakcom
目录
相关文章
jianz123
|
10天前
|
运维 负载均衡 网络协议
LVS+Keepalived 负载均衡
LVS+Keepalived 负载均衡
jianz123
34 1
LVS+Keepalived 负载均衡
jianz123
|
8天前
|
域名解析 运维 负载均衡
LVS+Keepalived 负载均衡（二）28-1
【8月更文挑战第28天】LVS+Keepalived 负载均衡 配置 LVS VIP
jianz123
23 5
白如意i
|
2月前
|
负载均衡 算法 前端开发
HAProxy 和负载均衡概念简介
HAProxy 和负载均衡概念简介
白如意i
66 3
皮牙子抓饭
|
3月前
|
负载均衡 NoSQL 应用服务中间件
搭建高可用及负载均衡的Redis
【7月更文挑战第10天】
皮牙子抓饭
89 1
hju6meadphitw
|
3月前
|
负载均衡 安全 Cloud Native
云上负载均衡：构建高可用、高性能的网络应用架构
与云原生技术深度融合：随着云原生技术的普及和发展未来的云上负载均衡将更加紧密地与云原生技术相结合。例如与Kubernetes等容器编排平台集成实现自动化的服务发现和路由管理；与Serverless架构结合提供无缝的流量接入和请求处理能力。 安全性能提升：面对日益严峻的网络安全威胁云上负载均衡将更加注重安全性能的提升。通过引入加密传输、访问控制、DDoS防护等安全措施确保网络流量的安全性和隐私性；同时还将建立完善的安全监控和应急响应机制以应对各种安全事件和突发事件。 支持多协议和多场景：未来的云上负载均衡将支持更多种类的网络协议和应用场景以满足不同用户和业务的需求。例如支持HTTP/2、
hju6meadphitw
154 0
聚娃科技开发者团队
|
3月前
|
负载均衡 算法 Java
实现高可用和可扩展的负载均衡系统的Java方法
实现高可用和可扩展的负载均衡系统的Java方法
聚娃科技开发者团队
35 0
游客zn7mvnkypuy76
|
4月前
|
负载均衡 应用服务中间件 开发工具
技术笔记：nginx和keeplive实现负载均衡高可用
技术笔记：nginx和keeplive实现负载均衡高可用
游客zn7mvnkypuy76
187 0
土木林森
|
5月前
|
负载均衡 网络协议 应用服务中间件
【亮剑】在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。
【4月更文挑战第30天】本文介绍了在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。HAProxy是一个高性能的开源TCP和HTTP负载均衡器，适合处理大量并发连接；Nginx是一个多功能Web服务器和反向代理，支持HTTP、HTTPS和TCP负载均衡，同时提供缓存和SSL功能；Keepalived用于监控和故障切换，通过VRRP实现IP热备份，保证服务连续性。文中详细阐述了如何配置这三个工具实现负载均衡，包括安装、配置文件修改和启动服务，为构建可靠的负载均衡系统提供了指导。
土木林森
136 0
Jack_hrx
|
4月前
|
缓存 负载均衡 算法
解读 Nginx：构建高效反向代理和负载均衡的秘密
解读 Nginx：构建高效反向代理和负载均衡的秘密
Jack_hrx
100 2
香吧香
|
3月前
|
负载均衡 算法 应用服务中间件
nginx自定义负载均衡及根据cpu运行自定义负载均衡
nginx自定义负载均衡及根据cpu运行自定义负载均衡
香吧香
38 1

热门文章

最新文章

  • 1
    如何使用被信任的证书来配置SLB HTTPS协议，使slb站点支持ssl
  • 2
    nginx+tomcat配置负载均衡集群
  • 3
    LVS负载均衡-DR模式
  • 4
    keepalived整合lvs实现nginx高可用负载均衡
  • 5
    apache、nginx配置负载均衡
  • 6
    Soul 云原生网关最佳实践
  • 7
    NAT负载均衡_ftp
  • 8
    构建企业服务之windows 2008 负载均衡服务器部署
  • 9
    nginx+keepalived构建主主负载均衡代理服务器
  • 10
    高并发应用场景下的负载均衡与故障转移实践，AgileEAS.NET SOA 负载均衡介绍与实践
  • 1
    slb教学
    61
  • 2
    【二】SpringCloud Alibaba之Nacos整合篇（配置负载均衡）
    805
  • 3
    负载均衡产品优势
    63
  • 4
    阿里云负载均衡SLB
    131
  • 5
    技术浅析：基于云的DNS负载均衡如何实现？
    139
  • 6
    常见的负载均衡算法及其应用场景
    211
  • 7
    实现负载均衡策略：优化系统性能与可用性
    332
  • 8
    数据库性能优化（查询优化、索引优化、负载均衡、硬件升级等方面）
    207
  • 9
    SpringCloud负载均衡源码解析 | 带你从表层一步步剖析Ribbon组件如何实现负载均衡功能
    118
  • 10
    【微服务】2、一篇文章详解 Ribbon 负载均衡
    90

    • 相关课程

    更多
  • 负载均衡 ALB的云上可观测能力最佳实践
  • 动态网站搭建及负载均衡对外服务
  • 阿里云负载均衡SLB实战演练
  • LVS负载均衡实战
  • 超大流量网站的负载均衡
  • 负载均衡入门与产品使用指南

    • 相关电子书

    更多
  • 《应用型负载均衡ALB产品解读》
  • 阿里云网络-SLB负载均衡产品介绍
  • 负载均衡SLB热点问题解答

    • 相关实验场景

    更多
  • 使用CloudLens观测ALB下的网站访问情况
  • 使用CloudLens观测CLB下的网站访问情况
  • 使用SLB+2ECS+NAS，部署电商web网站的高可用架构
  • 基于云原生网关MSE-Higress插件实现WAF防护能力
  • 基于云原生网关实现微服务的多版本线上灰度
  • SLB负载均衡实践
    • 下一篇
    无影云桌面