架构扩展ha-proxy

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
网络型负载均衡 NLB,每月750个小时 15LCU
简介: ha-proxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一些事情,因此与nginx比起来在负载均衡这件事情上做更好。

前言

ha-proxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一些事情,因此与nginx比起来在负载均衡这件事情上做更好。


具有如下功能:


根据静态分配的cookies完成HTTP请求转发

在多个服务器间实现负载均衡,并且根据HTTP cookies 实现会话粘性

主备服务器切换

接受访问特定端口实现服务监控

实现平滑关闭服务,不中断已建立连接的请求响应,拒绝新的请求

在请求或响应HTTP报文中添加,修改,或删除首部信息

根据正则规则阻断请求

提供带有用户认证机制的服务状态报告页面

链接:https://www.jianshu.com/p/8af373981cfe

来源:简书


1、下载安装Haproxy

1.1、下载

下载地址:https://src.fedoraproject.org/repo/pkgs/haproxy/


1.2、安装

将下载的安装包上传至服务器。

tar -xvf haproxy-2.6.6.tar.gz

cd haproxy-2.6.6

make TARGET=linux31                         # centos7.x是linux31、centos6.x是linux26

sudo make install PREFIX=/usr/local/haproxy # 安装到指定路径

cd /usr/local/haproxy/

mkdir conf pid                                 # 分别用来存放配置、进程文件



2、配置Haproxy

2.1、Haproxy配置文件组成

Haproxy配置文件根据功能和用途,主要有5个部分组成,但有些部分并不是必须的,可以根据需要选择相应的部分进行配置。


1、global 部分

   用来设定全局配置参数,属于进程级的配置,通常和操作系统配置有关。


2、defaults 部分

   默认参数的配置部分。在此部分设置的参数值,默认会自动被引用到下面的 frontend、backend 和 listen 部分中,

   因此,如果某些参数属于公用的配置,只需在 defaults 部分添加一次即可。而如果在 frontend、backend 和 listen

   部分中也配置了与 defaults 部分一样的参数,那么defaults 部分参数对应的值自动被覆盖。


3、frontend 部分

此部分用于设置接收用户请求的前端虚拟节点。frontend 是在 Haproxy1.3 版本之后才引入的一个组件,同时引入的还有

backend 组件。通过引入这些组件,在很大程度上简化了 Haproxy 配置文件的复杂性。frontend 可以根据 ACL 规则直接

指定要使用的后端。


4、backend 部分

此部分用于设置集群后端服务集群的配置,也就是用来添加一组真实服务器,以处理前端用户的请求。添加的真实服务器类

似于 LVS 中的 real server 节点。


5、listen 部分

此部分是 frontend 部分和 backend 部分的结合体。在 Haproxy1.3 版本之前,Haproxy 的所有配置选项都在这个部分中设置。

为了保持兼容性,Haproxy 新的版本仍然保留了 listen 组件的配置方式。目前在 Haproxy 中,两种配置方式任选其一即可。


2.2、Haproxy配置文件示例

vim /usr/local/haproxy/haproxy.cfg

global

   log 127.0.0.1 local0 debug

   maxconn 4096

   daemon

   nbproc 1 # 进程数,创建多个进程,能够减少每个进程的任务队列,但是过多的进程可能会导致进程的崩溃

   pidfile /usr/local/haproxy/pid/haproxy.pid

defaults

   mode http

   retries 3 # 连接后端服务器失败的次数如果超过这里设置的值,haproxy会将对应的后端服务器标记为不可用

   timeout connect 10s

   timeout client 20s

   timeout server 30s

   timeout check 5s

# 接入配置

frontend http_in

   bind *:11000

   mode http

   option httpclose # 此选项表示在客户端和服务器端完成一次连接请求后,haproxy将主动关闭此TCP连接

   default_backend http_in_forward

# 接出配置

backend http_in_forward

   mode http

   balance roundrobin

   option abortonclose # 在服务器负载很高的情况下,自动结束掉当前队列中处理时间比较长的链接

   server real_server1 192.168.8.20:80 check inter 10000 rise 1 fall 3 weight 1

   server real_server2 192.168.8.30:80 check inter 10000 rise 1 fall 3 weight 1



# 接入接出一起配置,相当于frontend和backend同时配置

listen http_in_config

   bind *:12000

   mode http

   balance roundrobin

   option httpclose # 此选项表示在客户端和服务器端完成一次连接请求后,haproxy将主动关闭此TCP连接

   option abortonclose # 在服务器负载很高的情况下,自动结束掉当前队列中处理时间比较长的链接

   server real_server1 192.168.8.20:80 check inter 10000 rise 1 fall 3 weight 1

   server real_server2 192.168.8.30:80 check inter 10000 rise 1 fall 3 weight 1

 

# 监控页面

listen admin_stats

   bind *:11001

   mode http

   stats refresh 30s

   stats uri /admin

   stats realm welcome login\ Haproxy

   stats auth admin:admin123

   stats admin if TRUE # 通过设置此选项,可以在监控页面上手工启用或禁用后端真实服务器



===================================================


配置文件详解:

global配置

log:全局的日志配置,local0是日志设备,debug表示日志级别。其中日志级别有err、warning、info、debug四种可选。

   这个配置表示使用127.0.0.1上的rsyslog服务中的local0日志设备,记录日志等级为debug。


maxconn:设定每个haproxy进程可接受的最大并发连接数,此选项等同于Linux命令行选项"ulimit -n"。


daemon:设置haproxy进程进入后台运行。这是推荐的运行模式。


nbproc:设置haproxy启动时可创建的进程数,此参数要求将haproxy运行模式设置为daemon,默认只启动一个进程。根据使用

经验,该值的设置应该小于服务器的CPU核数。创建多个进程,能够减少每个进程的任务队列,但是过多的进程可能会导致进程

的崩溃。


pidfile:指定haproxy进程的pid文件。启动进程的用户必须有访问此文件的权限。


-------------


defaults配置

mode:设置haproxy实例默认的运行模式,有tcp、http、health三个可选值。

   tcp模式:客户端和服务器端之间将建立一个全双工的连接,不会对七层报文做任何类型的检查,默认为 tcp 模式,经常用于 SSL、SSH、SMTP 等应用。

   http模式:在此模式下,客户端请求在转发至后端服务器之前将会被深度分析,所有不与 RFC 格式兼容的请求都会被拒绝。

   health模式:目前此模式基本已经废弃,不在多说。


retries:设置连接后端服务器的失败重试次数,连接失败的次数如果超过这里设置的值,haproxy会将对应的后端服务器标记为

不可用。此参数也可在后面部分进行设置。


timeout connect:设置成功连接到一台服务器的最长等待时间,默认单位是毫秒,但也可以使用其他的时间单位后缀。


timeout client:设置连接客户端发送数据时最长等待时间,默认单位是毫秒,也可以使用其他的时间单位后缀。


timeout server:设置服务器端回应客户度数据发送的最长等待时间,默认单位是毫秒,也可以使用其他的时间单位后缀。


timeout check:设置对后端服务器的检测超时时间,默认单位是毫秒,也可以使用其他的时间单位后缀。


-----------------


frontend配置

bind:此选项只能在frontend和listen部分进行定义,用于定义一个或几个监听的套接字。


option httpclose:此选项表示在客户端和服务器端完成一次连接请求后,haproxy将主动关闭此TCP连接。这是对性能非常有

帮助的一个参数。


default_backend:指定默认的后端服务器池,也就是指定一组后端真实服务器,而这些真实服务器组将在backend段进行定义。

这里的http_in_forward就是一个后端服务器组。


----------------


backend配置

balance:此关键字用来定义负载均衡算法。目前haproxy支持多种负载均衡算法,常用的有如下几种。


roundrobin:

   是基于权重进行轮询调度的算法,在服务器的性能分布比较均匀的时候,这是一种最公平、最合理的算法。此算法经常使用。


static-rr:

   也是基于权重进行轮询的调度算法,不过此算法为静态方法,在运行时调整其服务器权重不会生效。


source:

   是基于请求源 IP 的算法。此算法先对请求的源 IP 进行 hash 运算, 然后将结果与后端服务器的权重总数相除后转发至

   某个匹配的后端服务器。这种方式可以使同一个客户端 IP 的请求始终被转发到某特定的后端服务器。


leastconn:

   此算法会将新的连接请求转发到具有最少连接数目的后端服务器。在会话时间较长的场景中推荐使用此算法,例如数据库

   负载均衡等。此算法不适合会话较短的环境中,例如基于 HTTP 的应用。


uri:

   此算法会对部分或整个 URI 进行 hash 运算,再经过与服务器的总权重相除,最后转发到某台匹配的后端服务器上。


uri_param:

   此算法会根据 URL 路径中的参数进行转发,这样可保证在后端真实服务器数量不变时,同一个用户的请求始终分发到同一

   台机器上。


hdr(<name>):

   此算法根据 http 头进行转发,如果指定的 http 头名称不存在,则使用 roundrobin 算法进行策略转发。

 


option abortonclose:如果设置了此参数,可以在服务器负载很高的情况下,自动结束掉当前队列中处理时间比较长的链接。


server:这个关键字用来定义多个后端真实服务器,不能用于 defaults 和frontend部分。

   使用格式为:server <name> <address>[:port] [param*] 其中,每个param参数含义如下:

       check:表示启用对此后端服务器执行健康状态检查。

       inter:设置健康状态检查的时间间隔,单位为毫秒。

       rise:设置从故障状态转换至正常状态需要成功检查的次数,例如。“rise 2”表示 2 次检查正确就认为此服务器可用。

       fall:设置后端服务器从正常状态转换为不可用状态需要检查的次数,例如,“fall 3”表示3次检查失败就认为此服务器不可用。

       weight:设置后端真实服务器的权重,默认为 1,最大值为 256。设置为 0 表示不参与负载均衡。


-------------


listen配置

stats refresh:设置haproxy监控统计页面自动刷新的时间。


stats uri:设置haproxy监控统计页面的URL路径,可随意指定。例如、指定stats uri /admin,就可以通过http://ip:port/admin查看。


stats realm:设置登录haproxy统计页面时密码框上的文本提示信息。


stats auth:设置登录haproxy统计页面的用户名和密码。用户名和密码通过冒号分割。可为监控页面设置多个用户名和密码,每行一个。


stats admin if TRUE:通过设置此选项,可以在监控页面上手工启用或禁用后端真实服务器,仅在haproxy1.4.9以后版本有效。


===========================


3、启动Haproxy

3.1、启动

执行以下命令,就可以启动Haproxy

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg

注:如果报FD limit错误,添加ulimit -n 65536 到/etc/profile


3.2、查看监控页面

浏览器打开http://192.168.8.10:11001/admin输入前面listen部分配置的账号密码登录。

=============================


4.配置haproxy session保持(会话保持)

第一种方法:

backend app

   mode http

   option redispatch

   option abortonclose

   balance     source

   cookie      SERVERID

   option  httpchk GET /index.html

   server  app1 192.168.8.20:80 cookie server1 check

   server  app2 192.168.8.30:80 cookie server2 check


第二种方法:

backend app

   mode http

   option redispatch

   option abortonclose

   balance     source

   cookie      SESSION_COOKIE insert indirect nocache

   option  httpchk GET /index.html

   server  app1 192.168.8.20:80 cookie server1 check

   server  app2 192.168.8.30:80 cookie server2 check


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
27天前
|
监控 API 开发者
深入理解微服务架构:构建可扩展的应用程序
【10月更文挑战第6天】深入理解微服务架构:构建可扩展的应用程序
43 0
|
2月前
|
存储 缓存 API
探索后端技术:构建高效、可扩展的系统架构
在当今数字化时代,后端技术是构建任何成功应用程序的关键。它不仅涉及数据存储和处理,还包括确保系统的高效性、可靠性和可扩展性。本文将深入探讨后端开发的核心概念,包括数据库设计、服务器端编程、API 开发以及云服务等。我们将从基础开始,逐步深入到更高级的主题,如微服务架构和容器化技术。通过实际案例分析,本文旨在为读者提供一个全面的后端开发指南,帮助大家构建出既高效又具有高度可扩展性的系统架构。
|
19天前
|
监控 持续交付 API
深入理解微服务架构:构建高效、可扩展的系统
【10月更文挑战第14天】深入理解微服务架构:构建高效、可扩展的系统
69 0
|
26天前
|
消息中间件 监控 API
理解微服务架构:构建灵活和可扩展的应用
【10月更文挑战第7天】理解微服务架构:构建灵活和可扩展的应用
|
26天前
|
消息中间件 监控 API
深入理解微服务架构:构建可扩展与灵活的应用
【10月更文挑战第7天】深入理解微服务架构:构建可扩展与灵活的应用
39 0
|
3天前
|
监控 前端开发 JavaScript
探索微前端架构:构建可扩展的现代Web应用
【10月更文挑战第29天】本文探讨了微前端架构的核心概念、优势及实施策略,通过将大型前端应用拆分为多个独立的微应用,提高开发效率、增强可维护性,并支持灵活的技术选型。实际案例包括Spotify和Zalando的成功应用。
|
7天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
31 1
|
22天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
54 3
|
27天前
|
存储 监控 前端开发
掌握微前端架构:构建可扩展的前端应用
【10月更文挑战第6天】随着前端应用复杂性的增加,传统单体架构已难以满足需求。微前端架构通过将应用拆分为独立模块,提升了灵活性与可维护性。本文介绍微前端的概念、优势及实施步骤,包括定义边界、创建共享UI库、设置通信机制等,并探讨其在SPA扩展、大型项目模块化及遗留系统现代化中的应用。通过实战技巧如版本控制、配置管理和监控日志,帮助团队高效协作,保持应用灵活性。微前端架构为构建大型前端应用提供有效解决方案,适合希望提升项目可扩展性的开发者参考。
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
Tokenformer:基于参数标记化的高效可扩展Transformer架构
本文是对发表于arXiv的论文 "TOKENFORMER: RETHINKING TRANSFORMER SCALING WITH TOKENIZED MODEL PARAMETERS" 的深入解读与扩展分析。主要探讨了一种革新性的Transformer架构设计方案,该方案通过参数标记化实现了模型的高效扩展和计算优化。
36 0

热门文章

最新文章