高可用高性能负载均衡软件HAproxy详解指南-第一章(简介、安装)

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

目录

  1. HAproxy简介

  2. 为什么要使用HAproxy

  3. haproxy 性能特点

  4. 负载均衡器的性能评估因素

  5. 安装HAproxy

  6. haproxy案例4:实现web负载

由于字体过多分开写的,全系列文章链接

第一章:HAproxy简介及安装配置 http://zhang789.blog.51cto.com/11045979/1873432
第二章:HAproxy配置文件详解以及HAproxy的ACL详解 http://zhang789.blog.51cto.com/11045979/1873435
第三章:HAproxy实例

http://zhang789.blog.51cto.com/11045979/1873436

HAproxy简介

1、HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。 
2、HAProxy实现了一种事件驱动, 单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。(为了解决上下文切换,可以像nginx一样绑定cpu上面)

为什么要使用HAproxy

1.免费开源,稳定性也是非常好,这个可通过一些项目可以看出来,单Haproxy也跑得不错,稳定性可以与硬件级的F5相媲美; 
2. 根据官方文档,HAProxy可以跑满10Gbps-New benchmark of HAProxy at 10 Gbps usingMyricom’s 10GbE NICs (Myri-10G PCI-Express),这个数值作为软件级负载均衡器是相当惊人的。 
3. HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的,有时我们很需要限制攻击蠕虫(attack bots),也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救了很多站点,这个优点也是其它负载均衡器没有的。 
4.HAProxy 支持全透明代理(已具备硬件防火墙的典型特点): 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用,这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。 
5. HAProxy现多于线上的Mysql集群环境,我们常用于它作为MySQL(读)负载均衡。 
6. 自带强大的监控服务器状态的页面,实际环境中我们结合Nagios进行邮件或短信报警。 
7. HAProxy支持虚拟主机。 
8. HAProxy特别适用于那些负载特大的web站点, 这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。

注,在功能上,能以proxy反向代理方式实现Web均衡负载,这样的产品有很多。包括lvs,Nginx,ApacheProxy,lighttpd等。国内生产环境上使用Haproxy的公司很多,例如淘宝的CDN系统,

wKioL1gr7YXimtzJAAELFSnCFJI712.png

haproxy 性能特点

HAProxy借助于OS上几种常见的技术来实现性能的最大化。

1、单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。 
2、O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。 
3、在任何可用的情况下,单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作,这会节约大量的CPU时钟周期及内存带宽; 
4、借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用,HAProxy可以实现零复制转发(Zero-copy forwarding),在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting); 
5、MRU内存分配器在固定大小的内存池中可实现即时内存分配,这能够显著减少创建一个会话的时长; 
6、树型存储:侧重于使用作者多年前开发的弹性二叉树,实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列; 
7、优化的HTTP首部分析:优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域; 
8、精心地降低了昂贵的系统调用,大部分工作都在用户空间完成,如时间读取、缓冲聚合及文件描述符的启用和禁用等;


所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载,甚至于在非常高的负载场景中,5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象,这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此,对OS进行性能调优是非常重要的。即使用户空间的占用率提高一倍,其CPU占用率也仅为10%,这也解释了为何7层处理对性能影响有限这一现象。由此,在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。


在生产环境中,在7层处理上使用HAProxy作为昂贵的高端硬件负载均衡设备故障故障时的紧急解决方案也时长可见。硬件负载均衡设备在“报文”级别处理请求,这在支持跨报文请求(request across multiple packets)有着较高的难度,并且它们不缓冲任何数据,因此有着较长的响应时间。对应地,软件负载均衡设备使用TCP缓冲,可建立极长的请求,且有着较大的响应时间。

负载均衡器的性能评估因素

三个重要因素:

1、会话率 :单位时间内的处理的请求数
2、会话并发能力:并发处理能力
3、数据率:处理数据能力

经过官方测试统计,haproxy 单位时间处理的最大请求数为20000个,可以同时维护40000-50000个并发连接,最大数据处理能力为10Gbps。综合上述,haproxy是性能优越的负载均衡、反向代理服务器。

安装HAproxy

1、安装haproxy

[root@localhost ~]# yum -y groupinstall "Development Tools"
[root@localhost ~]# yum -y install haproxy

2、配置文件

[root@localhost ~]# rpm -ql haproxy
/etc/haproxy   #配置文件目录
/etc/haproxy/haproxy.cfg   #配置文件
/usr/lib/systemd/system/haproxy.service    #启动脚本
/usr/sbin/haproxy    #haproxy 命令
/usr/share/man/man1/haproxy.1.gz #man 文档

3、默认配置文件

[root@haproxy haproxy]# cat haproxy.cfg
#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt  #官方配置文档,很详细,英文没问题的博友,可以看看
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings #全局配置文件
#---------------------------------------------------------------------
global
   # to have these messages end up in /var/log/haproxy.log you will
   # need to:  #配置日志
   #
   # 1) configure syslog to accept network log events.  This is done
   #    by adding the '-r' option to the SYSLOGD_OPTIONS in
   #    /etc/sysconfig/syslog #修改syslog配置文件
   #
   # 2) configure local2 events to go to the /var/log/haproxy.log
   #   file. A line like the following can be added to
   #   /etc/sysconfig/syslog  #定义日志设备
   #
   #    local2.*                       /var/log/haproxy.log
   #
   log         127.0.0.1 local2 #
#全局的日志配置 其中日志级别是[err warning info debug]
#local0 是日志设备,必须为如下24种标准syslog设备的一种:
#kern user mail daemon auth syslog lpr news
#uucp cron auth2 ftp ntp audit alert cron2
#local0 local1 local2 local3 local4 local5 local6 local7
   chroot      /var/lib/haproxy
   pidfile     /var/run/haproxy.pid #将所有进程的pid写入文件启动进程的用户必须有权限访问此文件。
   maxconn     4000 #最大连接数,默认4000
   user        haproxy #用户
   group       haproxy #组
   daemon ##创建1个进程进入deamon模式运行。此参数要求将运行模式设置为"daemon"
   # turn on stats unix socket  #unix socket 文件
   stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block  #默认的全局设置,这些参数可以被利用配置到frontend,backend,listen组件
#---------------------------------------------------------------------
defaults
   mode                    http  #默认的模式mode { tcp|http|health },tcp是4层,http7层,health只会返回OK
   log                     global #采用全局定义的日志
   option                  httplog #日志类别http日志格式
   option                  dontlognull #不记录健康检查的日志信息
   option http-server-close #每次请求完毕后主动关闭http通道
   option forwardfor       except 127.0.0.0/8 #不记录本机转发的日志
   option                  redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
   retries                 3 #3次连接失败就认为服务不可用,也可以通过后面设置
   timeout http-request    10s  #请求超时
   timeout queue           1m #队列超时
   timeout connect         10s #连接超时
   timeout client          1m #客户端连接超时
   timeout server          1m #服务器连接超时
   timeout http-keep-alive 10s #长连接超时
   timeout check           10s  #检查超时
   maxconn                 3000 #最大连接数
#---------------------------------------------------------------------
# main frontend which proxys to the backends #frontend 与backends  代理配置
#---------------------------------------------------------------------
frontend  main *:5000
#acl策略配置
   acl url_static       path_beg       -i /static /images /javascript /stylesheets
   acl url_static       path_end       -i .jpg .gif .png .css .js
   use_backend static          if url_static  #满足策略要求,则响应策略定义的backend页面
   default_backend             app #不满足则响应backend的默认页面
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such #定义使用静态后端图像,样式表等
#---------------------------------------------------------------------
backend static
   balance     roundrobin #负载均衡模式轮询
   server      static 127.0.0.1:4331 check #服务器定义
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
   balance     roundrobin #负载均衡模式轮询
   server  app1 127.0.0.1:5001 check #服务器定义,check进行健康检查
   server  app2 127.0.0.1:5002 check
   server  app3 127.0.0.1:5003 check
   server  app4 127.0.0.1:5004 check

案例:实现web负载

wKioL1gr7biwOhwWAACooTvFuEI436.png1、node1安装http和测试页面

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# cd /var/www/html/
[root@web1 html]# echo "<h1>Server WWW node1</h1>" > index.html

2、node2安装http和测试页面

[root@web2 ~]# yum -y install httpd
[root@web2 ~]# cd /var/www/html/
[root@web2 html]# echo "<h1>Server WWW node2</h1>" > index.html

3、haproxy安装配置

[root@HAproxy ~]# yum -y groupinstall "Development Tools"
[root@HAproxy ~]# yum -y install haproxy

4、配置文件

[root@HAproxy ~]# cat /etc/haproxy/haproxy.cfg 
......主要配置函数
listen stats   #监控页面
   mode http
   bind 0.0.0.0:1080
   stats enable
   stats hide-version
   stats uri     /haproxyadmin?stats
   stats realm   Haproxy\ Statistics
   stats auth    admin:admin
   stats admin if TRUE
frontend main  #定义服务器组
   bind *:80
   default_backend server
backend server  #定义服务器
   mode http
   balance roundrobin
   option httpchk HEAD /index.html HTTP/1.0
   server node1 192.168.211.140:80 cookie 1 weight 5 check inter 2000 rise 1 fall 1
   server node2 192.168.211.128:80 cookie 1 weight 5 check inter 2000 rise 1 fall 1

5、查看监控页面

wKioL1gr7cry0LlIAAGxeaYzPBQ171.png6、测试

wKiom1gr7d7SoNaBAAAdk_xrmq4713.png

wKioL1gr7d6gHzl5AAAiunWEwnk609.png




本文转自 好笔记运维 51CTO博客,原文链接:http://blog.51cto.com/zhang789/1873432,如需转载请自行联系原作者


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
4天前
|
负载均衡 算法 安全
slb高性能
【11月更文挑战第4天】
16 3
|
1月前
|
负载均衡 应用服务中间件 Linux
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件,很全
这篇博客文章详细介绍了Nginx的下载、安装、配置以及使用,包括正向代理、反向代理、负载均衡、动静分离等高级功能,并通过具体实例讲解了如何进行配置。
146 4
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件,很全
|
1月前
|
Kubernetes 负载均衡 网络协议
k8s学习--负载均衡器matelLB的详细解释与安装
k8s学习--负载均衡器matelLB的详细解释与安装
|
3月前
|
负载均衡 算法 前端开发
HAProxy 和负载均衡概念简介
HAProxy 和负载均衡概念简介
75 3
|
4月前
|
负载均衡 NoSQL 应用服务中间件
搭建高可用及负载均衡的Redis
【7月更文挑战第10天】
136 1
|
4月前
|
负载均衡 安全 Cloud Native
云上负载均衡:构建高可用、高性能的网络应用架构
与云原生技术深度融合:随着云原生技术的普及和发展未来的云上负载均衡将更加紧密地与云原生技术相结合。例如与Kubernetes等容器编排平台集成实现自动化的服务发现和路由管理;与Serverless架构结合提供无缝的流量接入和请求处理能力。 安全性能提升:面对日益严峻的网络安全威胁云上负载均衡将更加注重安全性能的提升。通过引入加密传输、访问控制、DDoS防护等安全措施确保网络流量的安全性和隐私性;同时还将建立完善的安全监控和应急响应机制以应对各种安全事件和突发事件。 支持多协议和多场景:未来的云上负载均衡将支持更多种类的网络协议和应用场景以满足不同用户和业务的需求。例如支持HTTP/2、
240 0
|
4月前
|
负载均衡 算法 Java
实现高可用和可扩展的负载均衡系统的Java方法
实现高可用和可扩展的负载均衡系统的Java方法
|
5月前
|
缓存 负载均衡 算法
解读 Nginx:构建高效反向代理和负载均衡的秘密
解读 Nginx:构建高效反向代理和负载均衡的秘密
122 2
|
4月前
|
负载均衡 算法 应用服务中间件
nginx自定义负载均衡及根据cpu运行自定义负载均衡
nginx自定义负载均衡及根据cpu运行自定义负载均衡
85 1
|
4月前
|
运维 负载均衡 算法
SLB与NGINX的异同是什么
SLB与NGINX的异同是什么
436 2