HAProxy实现网站高并发集群

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
应用型负载均衡 ALB,每月750个小时 15LCU
简介: HAProxy实现网站高并发集群

简介:HAProxy提供高可用性、 负载均衡以及基于TCP和HTTP应用的代理,支持 虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上。

项目需求:由于网站规模的扩大,访问量的也越来越多,原来的一台机器提供网站服务,出现故障后就中断了网站服务,造成经济损失,现在老板发话要解决单点故障,于是我就找了些资料,对比了下Haproxy、LVS、Nginx,是各有各的优点,我们的网站每天的PV也不是很大,就先在虚拟机上做了下测试,仅做Haproxy部分七层负载均衡,生产环境需要Haproxy+keepalived来实现负载均衡器高可用性。

先了解下HAProxy常用的算法:

roundrobin   #表示简单的轮询,每个负载均衡器基本都具备的

static-rr    #表示根据权重

leastconn    #表示最少连接者先处理

source       #表示根据请求源IP, haprox按照客户端的IP地址所有请求都保持在一个服务器上

ri           #表示根据请求的URI

rl_param     #表示根据请求的URl参数'balance url_param' requires an URL parameter name

hdr(name)    #表示根据HTTP请求头来锁定每一次HTTP请求

rdp-cookie(name) #表示根据据cookie(name)来锁定并哈希每一次TCP请求

拓扑图:


124805373.jpg

下载: http://haproxy.1wt.eu/

配置如下:

安装haproxy

[root@localhost ~]# tar zxvf haproxy-1.4.24.tar.gz
[root@localhost ~]# cd haproxy-1.4.24
[root@localhosthaproxy-1.4.24]# make TARGET=linux26 PREFIX=/usr/local/haproxy
[root@localhosthaproxy-1.4.24]# make install PREFIX=/usr/local/haproxy

#进入安装目录创建配置文件

[root@localhosthaproxy-1.4.24]# cd /usr/local/haproxy/
[root@localhost haproxy]# mkdir conf
[root@localhost haproxy]# cd conf/
[root@localhost conf]# vi haproxy.cfg
global
    log 127.0.0.1 local0  #通过syslog服务的local0输出日志信息
    maxconn 4096  #单个进程的最大连接数
    uid 99        #所属运行的用户uid,默认nobod
    gid 99        #所属运行的用户组,默认nobody
    daemon        #后台运行
    nbproc 2      #工作进程数量
    pidfile /var/run/haproxy.pid
defaults
    log global
    log 127.0.0.1 local3 err #使用本机上的syslog服务的local3 设备记录错误信息[err warning info debug]
    mode http          #工作模式在7层,tcp是4层
    option httplog     #使用http日志类别,默认是不记录http请求的
    option httpclose   #每次请求完毕后主动关闭http通道式
    option forwardfor  #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
    option redispatch  #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    retries 3          #设置尝试次数,3次连接失败则认为服务器不可用
    maxconn 2048       #最大连接数
    contimeout 5000    #连接超时
    clitimeout 50000   #客户端超时
    srvtimeout 50000   #服务器超时
    timeout check 2000         #心跳检测超时
listen status 0.0.0.0:8080     #定义状态名字和监听端口
    stats uri /haproxy-status  #查看haproxy服务器状态地址
    stats auth admin:admin     #查看状态页面的用户名和密码
    stats hide-version         #隐藏haproxy版本信息
    stats refresh 30s          #每5秒刷新一次状态页面
listen web_server 0.0.0.0:80   #定义后端名字和监听端口
    mode http                  #采用7层模式
    balance roundrobin         #负载均衡算法,这里是轮叫
    cookie SERVERID  #允许插入serverid到cookie中,serverid后面可以定义
    option httpchk GET /index.html #健康检测
    server web1 192.168.1.11:80 weight 3 check inter 500 fall 3
    server web2 192.168.1.12:80 weight 2 check inter 500 fall 3

说明:用server来设置后端服务器

第二段:haproxy自己的一个名称,将在日志中显示

第三段:后端IP和端口

第四段:权重值,权重值越大,分配的任务几率越高

第五段:健康检测,inter 500健康检测间隔是500毫秒

最后一段:检测多少次,认为服务器是不可用的

启动haproxy

[root@localhost ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg

重启haproxy

[root@localhost ~]# /usr/local/haproxy/sbi n/haproxy -f /usr/local/haproxy/conf/haproxy.cfg -st `cat/var/run/haproxy.pid`

写一个简单的haproxy服

[root@localhost ~]# vi /etc/init.d/haproxy
#!/bin/bash
DIR=/usr/local/haproxy
PIDFILE=/var/run/haproxy.pid
ARG=$*
start()
{
echo "Starting Haproxy ..."
$DIR/sbin/haproxy -f $DIR/conf/haproxy.cfg
}
stop()
{
echo "Stopping Haproxy ..."
kill -9 $(cat $PIDFILE)
}
case $ARG in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
*)
echo "Usage: start|stop|restart"

#设置开机启动

[root@localhost ~]# chmod +x/etc/init.d/haproxy
[root@localhost ~]# echo "/etc/init.d/haproxy start" >> /etc/rc.local

#查看服务器状态

http://192.168.1.10:8080/


125812648.png

配置haproxy日志输出

[root@localhost ~]# vi /etc/rsyslog.conf #在下面添加
local3.*     /var/log/haproxy.log
local0.*     /var/log/haproxy.log
[root@localhost ~]# service rsyslog restart

后端web服务器配置相同

[root@localhost ~]# yum install httpd –y
[root@localhost ~]# service httpd start
[root@localhost ~]# echo "web1/web2" > /var/www/html/index.html

测试:访问http://192.168.1.10,按F5一直刷新会显示轮训显示web1和web2,模拟web1故障down机,haproxy页面显示的状态会变成DOWN,只有web2提供服务,当web1恢复后会自动加入集群中。


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
3月前
|
存储 NoSQL Java
Redis助力高并发网站:在线用户统计不再是难题!
小米带你了解如何使用Redis高效统计网站的在线与并发用户数。通过维护用户的活跃时间,利用Redis有序集合(Sorted Set)特性,可实时更新在线用户列表并统计数量。具体实现包括记录用户上线时间、定期清理离线用户及统计特定时间窗口内的活跃用户数。这种方法适用于高并发场景,保证统计结果的实时性和准确性。跟着小米一起探索Redis的强大功能吧!
93 2
|
4月前
|
存储 缓存 NoSQL
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
|
4月前
|
消息中间件 缓存 监控
如何设计一个秒杀系统,(高并发高可用分布式集群)
【7月更文挑战第4天】设计一个高并发、高可用的分布式秒杀系统是一个非常具有挑战性的任务,需要从架构、数据库、缓存、并发控制、降级限流等多个维度进行考虑。
126 1
|
缓存 NoSQL 安全
缓存杂谈(六) Redis的高并发及主从集群入门
Redis的高并发及主从集群入门
101 0
缓存杂谈(六) Redis的高并发及主从集群入门
|
存储 缓存 运维
【高并发/高可用/哨兵机制/集群模式/高可用与主备切换/主从复制/断点续传】
【高并发/高可用/哨兵机制/集群模式/高可用与主备切换/主从复制/断点续传】
191 0
【高并发/高可用/哨兵机制/集群模式/高可用与主备切换/主从复制/断点续传】
|
缓存 分布式计算 负载均衡
面试:第九章:分布式 、高并发、集群、负载均衡、高可用(上)
面试:第九章:分布式 、高并发、集群、负载均衡、高可用
435 0
面试:第九章:分布式 、高并发、集群、负载均衡、高可用(上)
|
存储 监控 NoSQL
高并发核心技术Redis系列(六)--------主从复制、集群(下)
将服务器调整为一主多从(6379带6380、6381)
150 0
高并发核心技术Redis系列(六)--------主从复制、集群(下)
|
存储 监控 负载均衡
高并发核心技术Redis系列(六)--------主从复制、集群(上)
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。
203 0
高并发核心技术Redis系列(六)--------主从复制、集群(上)
|
域名解析 缓存 负载均衡
面试:第九章:分布式 、高并发、集群、负载均衡、高可用(下)
面试:第九章:分布式 、高并发、集群、负载均衡、高可用
208 0

热门文章

最新文章

  • 1
    高并发场景下,到底先更新缓存还是先更新数据库?
    64
  • 2
    Java面试题:解释Java NIO与BIO的区别,以及NIO的优势和应用场景。如何在高并发应用中实现NIO?
    70
  • 3
    Java面试题:设计一个线程安全的单例模式,并解释其内存占用和垃圾回收机制;使用生产者消费者模式实现一个并发安全的队列;设计一个支持高并发的分布式锁
    66
  • 4
    Java面试题:如何实现一个线程安全的单例模式,并确保其在高并发环境下的内存管理效率?如何使用CyclicBarrier来实现一个多阶段的数据处理任务,确保所有阶段的数据一致性?
    61
  • 5
    Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
    53
  • 6
    Java面试题:假设你正在开发一个Java后端服务,该服务需要处理高并发的用户请求,并且对内存使用效率有严格的要求,在多线程环境下,如何确保共享资源的线程安全?
    68
  • 7
    在Java中实现高并发的数据访问控制
    41
  • 8
    使用Java构建一个高并发的网络服务
    27
  • 9
    微服务06----Eureka注册中心,微服务的两大服务,订单服务和用户服务,订单服务需要远程调用我们的用,户服务,消费者,如果环境改变,硬编码问题就会随之产生,为了应对高并发,我们可能会部署成一个集
    37
  • 10
    如何设计一个秒杀系统,(高并发高可用分布式集群)
    126