高负载均衡学习haproxy之配置文件详解

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
日志服务 SLS,月写入数据量 50GB 1个月
应用型负载均衡 ALB,每月750个小时 15LCU
简介:

通过前一篇文章的介绍,我们知道了haproxy的配置文件主要包含以下几个部分:

global全局配置、defaults默认配置、监控页面配置、frontend配置、backend配置

下面对每一部分分别进行讲解。

PS:本文部分内容借鉴马哥haproxy视频。

一、global全局配置

全局配置的标志参数为global,全局配置主要用于设定义全局参数,属于进程级的配置,通常和操作系统配置有关。

1.1 进程管理及安全相关的参数

chroot <jail dir>:修改haproxy的工作目录至指定的目录并在放弃权限之前执行chroot()操作,可以提升haproxy的安全级别,不过需要注意的是要确保指定的目录为空目录且任何用户均不能有写权限。

使用方法为:

chroot /var/lib/haproxy

daemon:让haproxy以守护进程的方式工作于后台,其等同于“-D”选项的功能。当然,也可以在命令行中以“-db”选项将其禁用。

uid:以指定的uid身份运行haproxy进程。

user:同uid参数,但使用的是用户名。

gid <number>:以指定的gid运行haproxy,建议使用专用于运行haproxy的gid,以免因权限问题带来风险。

group <group name>:同gid参数,不过指定的组名。

log <address> <facility> [max level [min level]]:定义全局的syslog服务器,最多可以定义两个。

log-send-hostname [<string>]:在syslog信息的首部添加当前主机名,可以为“string”指定的名称,也可以缺省使用当前主机名。

nbproc <number>:指定启动的haproxy进程个数,只能用于守护进程模式的haproxy。默认只启动一个进程,鉴于调试困难等多方面的原因,一般只在单进程仅能打开少数文件描述符的场景中才使用多进程模式。

pidfile:将haproxy的进程写入pid文件。

ulimit-n:设定每进程所能够打开的最大文件描述符数目,默认情况下其会自动进行计算,因此不推荐修改此选项。

stats socket <path>定义统计信息保存位置。

1.2 性能调整相关的参数

maxconn <number>:设定每个haproxy进程所接受的最大并发连接数,其等同于命令行选项“-n”;“ulimit -n”自动计算的结果正是参照此参数设定的。

maxpipes <number>:haproxy使用pipe完成基于内核的tcp报文重组,此选项则用于设定每进程所允许使用的最大pipe个数。每个pipe会打开两个文件描述符,因此,“ulimit -n”自动计算时会根据需要调大此值;默认为maxconn/4,其通常会显得过大。

noepoll:在Linux系统上禁用epoll机制。

nokqueue:在BSE系统上禁用kqueue机制。

nopoll:禁用poll机制。

nosepoll:在Linux禁用启发式epoll机制。

nosplice:禁止在Linux套接字上使用内核tcp重组,这会导致更多的recv/send系统调用;不过,在Linux 2.6.25-28系列的内核上,tcp重组功能有bug存在。

spread-checks <0..50, in percent>:在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长。

tune.bufsize <number>:设定buffer的大小,同样的内存条件下,较小的值可以让haproxy有能力接受更多的并发连接,较大的值可以让某些应用程序使用较大的cookie信息;默认为16384,其可以在编译时修改,不过强烈建议使用默认值。

tune.chksize <number>:设定检查缓冲区的大小,单位为字节;更大的值有助于在较大的页面中完成基于字符串或模式的文本查找,但也会占用更多的系统资源;不建议修改。

tune.maxaccept <number>:设定haproxy进程内核调度运行时一次性可以接受的连接的个数,较大的值可以带来较大的吞吐率,默认在单进程模式下为100,多进程模式下为8,设定为-1可以禁止此限制;一般不建议修改。

tune.maxpollevents <number>:设定一次系统调用可以处理的事件最大数,默认值取决于OS。其值小于200时可节约带宽,但会略微增大网络延迟,而大于200时会降低延迟,但会稍稍增加网络带宽的占用量。

tune.maxrewrite <number>:设定为首部重写或追加而预留的缓冲空间,建议使用1024左右的大小。在需要使用更大的空间时,haproxy会自动增加其值。

tune.rcvbuf.client <number>:定义在客户端内核套接字接收缓冲区的大小,单位为字节,建议不要调整此值。

tune.rcvbuf.server <number>:设定内核套接字中服务端或客户端接收缓冲的大小,单位为字节;强烈推荐使用默认值。

tune.sndbuf.client:定义在客户端内核套接字发送缓冲区的大小,单位为字节,建议不要调整此值。

tune.sndbuf.server:定义在服务端内核套接字发送缓冲区的大小,单位为字节,建议不要调整此值。

上边的这些指令大多也是作为了解即可,在实际中并不常会调整这些参数。

1.3 debug相关的参数

debug:在调度haproxy时可以启用此参数,但在生产环境不应该启用。

quiet:haproxy启动后不会显示任何相关信息,这与在命令行启动haproxy时加上参数“-q”相同。

一个比较实用的haproxy全局配置,如下:

global

log 127.0.0.1 local0

log 127.0.0.1 local1 notice

maxconn 4096

uid 1005

gid 1005

daemon

chroot  /var/lib/haproxy

pidfile /var/run/haproxy.pid

以上设置的参数可以被利用配置到frontend、backend、listen段。

二、defaults默认配置

defaults段用于为所有其它配置段提供默认参数,这配置默认配置参数可由下一个defaults所重新设定。

下面提供一个defaults模版配置,如下:

defaults

mode  http

设置haproxy的运行模式,有三种{http|tcp|health}。注意:如果haproxy中还要使用4层的应用(mode tcp)的话,不建议在此定义haproxy的运行模式。

log   global

设置日志继承全局配置段的设置。

option httplog

表示开始打开记录http请求的日志功能。

option dontlognull

如果产生了一个空连接,那这个空连接的日志将不会记录。

option http-server-close

打开http协议中服务器端关闭功能,使得支持长连接,使得会话可以被重用,使得每一个日志记录都会被记录。

option forwardfor except 127.0.0.0/8

如果上游服务器上的应用程序想记录客户端的真实IP地址,haproxy会把客户端的IP信息发送给上游服务器,在HTTP请求中添加”X-Forwarded-For”字段,但当是haproxy自身的健康检测机制去访问上游服务器时是不应该把这样的访问日志记录到日志中的,所以用except来排除127.0.0.0,即haproxy身。

option redispatch

当与上游服务器的会话失败(服务器故障或其他原因)时,把会话重新分发到其他健康的服务器上,当原来故障的服务器恢复时,会话又被定向到已恢复的服务器上。还可以用”retries”关键字来设定在判定会话失败时的尝试连接的次数。

retries 3

向上游服务器尝试连接的最大次数,超过此值就认为后端服务器不可用。

option abortonclose

当haproxy负载很高时,自动结束掉当前队列处理比较久的链接。

timeout http-request 10s

客户端发送http请求的超时时间。

timeout queue 1m

当上游服务器在高负载响应haproxy时,会把haproxy发送来的请求放进一个队列中,timeout queue定义放入这个队列的超时时间。

timeout connect 5s

haproxy与后端服务器连接超时时间,如果在同一个局域网可设置较小的时间。

timeout client 1m

定义客户端与haproxy连接后,数据传输完毕,不再有数据传输,即非活动连接的超时时间。

timeout server 1m

定义haproxy与上游服务器非活动连接的超时时间。

timeout http-keep-alive 10s

设置新的http请求连接建立的最大超时时间,时间较短时可以尽快释放出资源,节约资源。

timeout check 10s

健康检测的时间的最大超时时间。

maxconn 3000

最大并发连接数。

contimeout 5000

设置成功连接到一台服务器的最长等待时间,默认单位是毫秒,新版本的haproxy使用timeout connect替代,该参数向后兼容。

clitimeout 3000

设置连接客户端发送数据时的成功连接最长等待时间,默认单位是毫秒,新版本haproxy使用timeout client替代。该参数向后兼容。

srvtimeout 3000

设置服务器端回应客户度数据发送的最长等待时间,默认单位是毫秒,新版本haproxy使用timeout server替代。该参数向后兼容。

三、监控页面配置

listen admin_status

frontend和backend的组合体,监控组的名称,按需自定义名称。

bind 0.0.0.0:1080

配置监听端口。

mode http

配置监控运行的模式,在这为http模式。

log 127.0.0.1 local3 err

配置错误日志记录。

stats refresh 5s

配置每隔5秒自动刷新监控页面。

stats uri /stats

配置监控页面的url。

stats realm ilanni\ilanni

配置监控页面的提示信息。

stats auth admin:admin

配置监控页面的用户和密码admin,可以设置多个用户名。如下:

stats auth admin1:admin1

配置监控页面的用户和密码admin1。

stats hide-version

配置隐藏统计页面上的HAproxy版本信息。

stats admin if TRUE

配置手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)。

四、frontend配置

frontend ilanni_80

定义一个名为ilanni_80的frontend。

bind 0.0.0.0:80

定义haproxy前端部分监听的端口。

mode http

定义为http模式。

log global

继承global中log的定义。

option forwardfor

使后端server获取到客户端的真实IP。

acl static_down nbsrv(static_server) lt 1

定义一个名叫static_down的acl,当backend static_sever中存活机器数小于1时会被匹配到。

#acl php_web url_reg /*.php

acl php_web path_end .php

定义一个名叫php_web的acl,当请求的url末尾是以.php结尾的,将会被匹配到,上面两种写法任选其一。

#acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$

acl static_web path_end .gif .png .jpg .css .js .jpeg

定义一个名叫static_web的acl,当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif结尾的,将会被匹配到,上面两种写法任选其一。

acl is_ilanni hdr_beg(host) -i ilanni.test.com

定义一个名叫is_ilanni的acl,当请求的是以ilanni.test.com开头的主机的话,将会被匹配到。其中-i表示忽略大小写。

acl is_dg hdr_beg(host) dg.test.com

定义一个名叫is_dg的acl,当请求的是以dg.test.com开头的主机的话,将会被匹配到。

acl is_171 hdr_beg(host) 192.168.5.171

定义一个名叫is_171的acl,当请求的是以192.168.5.171开头的主机的话,将会被匹配到。

acl is_ip src 192.168.5.140

定义一个名叫is_ip的acl,当客户端的IP是192.168.5.140的话,将会被匹配到。

use_backend php_server if static_down

如果满足策略static_down时,就将请求交予backend php_server处理。

use_backend php_server if php_web

如果满足策略php_web时,就将请求交予backend php_server处理。

use_backend static_server if static_web

如果满足策略static_web时,就将请求交予backend static_server处理。

use_backend acl if is_171 is_ip

如果同时满足is_171和is_ip这两条策略时,就将请求交予backend acl处理。

use_backend mui_acl if is_171 is_ip is_port

如果同时满足is_171、is_ip和is_port这三条策略时,就将请求交予backend mui_acl处理。

use_backend dgserver if is_dg

如果满足策略is_dg时,就将请求交予backend dgserver处理。

use_backend ilanni if is_ilanni

如果满足策略is_ilanni时,就将请求交予backend ilanni处理。

use_backend 171server if is_171

如果满足策略is_171时,就将请求交予backend 171server处理。

default_backend backend_default

如果以上策略都不满足时,就将请求交予default_backend处理。

五、backend配置

backend dgserver

定义dgserver服务器组。

balance source

定义负载均衡方式,roundrobin平均方式

mode http

option httpchk GET /index.html

心跳检测的文件

server web1 192.168.5.171:8080 maxconn 1024 weight 3 check inter 2000 rise 2 fall 3

服务器定义,maxconn 1024 表示该服务器的最大连接数,check inter 2000是检测心跳频率,rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重。

backend 171server

balance roundrobin

mode http

server dg1 192.168.5.174:80 check

server dg2 192.168.5.178:80 check

backend ilanni

mode http

server web1 ilanni.com:80 weight 3 check inter 2000 rise 2 fall 3

backend acl

balance source

mode http

server web1 www.ilanni.com:80 maxconn 1024 weight 3 check inter 2000 rise 2 fall 3

backend mui_acl

balance source

mode http

server web1 192.168.5.178:80 maxconn 1024 weight 3 check inter 2000 rise 2 fall 3

backend backend_default

mode http

server web1 192.168.5.178:8080 weight 3 check inter 2000 rise 2 fall 3

相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
6月前
|
负载均衡 应用服务中间件 API
Nginx配置文件详解Nginx负载均衡Nginx静态配置Nginx反向代理
Nginx配置文件详解Nginx负载均衡Nginx静态配置Nginx反向代理
162 4
|
27天前
|
负载均衡 应用服务中间件 Linux
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件,很全
这篇博客文章详细介绍了Nginx的下载、安装、配置以及使用,包括正向代理、反向代理、负载均衡、动静分离等高级功能,并通过具体实例讲解了如何进行配置。
127 4
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件,很全
|
25天前
|
缓存 负载均衡 算法
nginx学习:配置文件详解,负载均衡三种算法学习,上接nginx实操篇
Nginx 是一款高性能的 HTTP 和反向代理服务器,也是一个通用的 TCP/UDP 代理服务器,以及一个邮件代理服务器和通用的 HTTP 缓存服务器。
51 0
nginx学习:配置文件详解,负载均衡三种算法学习,上接nginx实操篇
|
1月前
|
Kubernetes 负载均衡 网络协议
k8s学习--负载均衡器matelLB的详细解释与安装
k8s学习--负载均衡器matelLB的详细解释与安装
|
3月前
|
负载均衡 算法 前端开发
HAProxy 和负载均衡概念简介
HAProxy 和负载均衡概念简介
73 3
|
5月前
|
缓存 负载均衡 NoSQL
Redis系列学习文章分享---第十四篇(Redis多级缓存--封装Http请求+向tomcat发送http请求+根据商品id对tomcat集群负载均衡)
Redis系列学习文章分享---第十四篇(Redis多级缓存--封装Http请求+向tomcat发送http请求+根据商品id对tomcat集群负载均衡)
78 1
|
6月前
|
负载均衡 算法 网络协议
LVS、Nginx和HAProxy负载均衡器对比总结
LVS、Nginx和HAProxy负载均衡器对比总结
|
6月前
|
负载均衡 监控 网络协议
使用haproxy实现负载均衡集群
【4月更文挑战第14天】HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,快速并且可靠的一种解决方案。
168 1
|
6月前
|
负载均衡 网络协议 应用服务中间件
【亮剑】在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。
【4月更文挑战第30天】本文介绍了在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。HAProxy是一个高性能的开源TCP和HTTP负载均衡器,适合处理大量并发连接;Nginx是一个多功能Web服务器和反向代理,支持HTTP、HTTPS和TCP负载均衡,同时提供缓存和SSL功能;Keepalived用于监控和故障切换,通过VRRP实现IP热备份,保证服务连续性。文中详细阐述了如何配置这三个工具实现负载均衡,包括安装、配置文件修改和启动服务,为构建可靠的负载均衡系统提供了指导。
153 0
|
负载均衡 前端开发 网络协议
Keepalived+HAProxy 搭建高可用负载均衡(二)
Keepalived+HAProxy 搭建高可用负载均衡
331 0