Web缓存服务——Squid代理服务器应用(上)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 正向代理:代替客户端向服务端发送请求。反向代理:代理服务端,将请求转发给多个服务端。

一、Squid代理服务器介绍


Squid 主要提供缓存加速、应用层过滤控制的功能。


1.1 代理的工作机制(缓存网页对象,减少重复请求)

  1. 代替客户机向网站请求数据,从而可以隐藏用户的真实IP地址。
  2. 将获得的网页数据(静态 Web 元素)保存到缓存中并发送给客户机,以便下次请求相同的数据时快速响应。

网络异常,图片无法展示
|


1.2 代理服务器的概念及其作用

代理服务器是一个位于客户端和原始(资源)服务器之间的服务器,为了从原始服务器取得内容,客户端向代理服务器发送一个请求并指定目标原始服务器,然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于Web至关重要,尤其对于大型高负载Web站点。缓存可作为性能优化的一个重要手段,可以极大减轻后端服务器的负载。通常对于静态资源,即较少经常更新的资源,如图片,css或js等进行缓存,从而在每次刷新浏览器的时候,不用重新请求,而是从缓存里面读取,这样就可以减轻服务器的压力。

其主要作用有:

  • 资源获取: 代替客户端实现从原始服务器的资源获取;
  • 加速访问: 代理服务器可能离原始服务器更近,从而起到一定的加速作用;
  • 缓存作用: 代理服务器保存从原始服务器所获取的资源,从而实现客户端快速的获取;
  • 隐藏真实地址: 代理服务器代替客户端去获取原始服务器资源,从而隐藏客户端真实信息。

最基本的作用:提高web访问速度,隐藏客户机的真实IP地址。

1.3 Squid 代理的类型

传统代理: 适用于Internet 正向代理,需在客户机指定代理服务器的地址和端口。

透明代理: 客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

反向代理: 如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。


二、Squid 服务的安装和运行


2.1 编译安装Squid

#关闭防火墙和selinux
 [root@yuji ~]# systemctl disable --now firewalld
 [root@yuji ~]# setenforce 0
 #安装环境依赖包
 [root@yuji ~]# yum -y install gcc gcc-c++ make 
 #解压squid安装包
 [root@yuji ~]# tar zxvf squid-3.5.28.tar.gz -C /opt/ 
 #切换到源码包目录,设置安装路径和安装模块
 [root@yuji ~]# cd /opt/squid-3.5.28 
 [root@yuji ~]# ./configure --prefix=/usr/local/squid \      #指定安装目录路径
 --sysconfdir=/etc \                         #指定配置文件路径
 --enable-arp-acl \                          #MAC地址管控,防止客户端使用IP欺骗
 --enable-linux-netfilter \                  #使用内核过滤
 --enable-linux-tproxy \                     #支持透明模式
 --enable-async-io=100 \                     #异步IO,提升存储性能。先写入缓存,再写入硬盘
 --enable-err-language="Simplify_Chinese" \  #错误信息的显示语言
 --enable-underscore \                       #允许URL中有下划线
 --disable-poll \                            #关闭默认使用 poll 模式
 --enable-epoll \        #开启epoll模式提升性能,epoll模式可以支持IO多路复制,异步非阻塞
 --enable-gnuregex                           #使用GNU正则表达式
 [root@yuji ~]# make -j2 && make install     #开2核编译安装
 [root@yuji ~]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/   #优化路径,使系统直接能够识别squid命令
 [root@yuji ~]# useradd -M -s /sbin/nologin squid             #创建squid用户,不创建家目录,不可登录系统
 [root@yuji ~]# chown -R squid:squid  /usr/local/squid/var/   #修改属主属组,此目录用于存放缓存文件
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.2 修改 Squid 的配置文件

[root@yuji ~]# vim /etc/squid.conf
 ......
 --56行--插入
 http_access allow all    #放在 http_access deny all 之前,允许任意客户机使用代理服务,控制规则自上而下匹配
 http_access deny all
 http_port 3128           #用来指定代理服务监听的地址和端口(默认的端口号为 3128)
 --61行--插入
 cache_effective_user squid      #添加,指定程序用户,用来设置初始化、运行时缓存的账号,否则启动
 cache_effective_group squid     #添加,指定账号基本组
 coredump_dir /usr/local/squid/var/cache/squid     #指定缓存文件目录。默认有这一行,一般不做修改
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.3 Squid 的运行控制

#检查配置文件语法是否正确
 [root@yuji ~]# squid -k parse
 #启动 Squid,第一次启动 Squid 服务时,会自动初始化缓存目录
 [root@yuji ~]# squid -z        #-z 选项用来初始化缓存目录
 [root@yuji ~]# squid           #启动 squid 服务
 [root@yuji ~]# netstat -anpt | grep "squid"    #查看是否启动成功
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.4 创建 Squid 服务脚本(将Squid加入系统服务管理)

[root@yuji ~]# vim /etc/init.d/squid
 #!/bin/bash
 #chkconfig: 2345 90 25
 PID="/usr/local/squid/var/run/squid.pid"
 CONF="/etc/squid.conf"
 CMD="/usr/local/squid/sbin/squid"
 case "$1" in
    start)
      netstat -natp | grep squid &> /dev/null
      if [ $? -eq 0 ]
      then
        echo "squid is running"
      else
        echo "正在启动 squid..."
        $CMD
      fi
    ;;
    stop)
      $CMD -k kill &> /dev/null
      rm -rf $PID &> /dev/null      #kill命令杀死进程,不会删除PID文件,需要手动删除PID文件,不然下次启动会有问题
    ;;
    status)
      [ -f $PID ] &> /dev/null
         if [ $? -eq 0 ]
           then
             netstat -natp | grep squid
           else
             echo "squid is not running"
         fi
    ;;
    restart)
       $0 stop &> /dev/null
       echo "正在关闭 squid..."
       $0 start &> /dev/null
       echo "正在启动 squid..."
    ;;
    reload)
       $CMD -k reconfigure
    ;;
    check)
       $CMD -k parse
    ;;
    *)
       echo "用法:$0 {start|stop|status|reload|check|restart}"
    ;;
 esac
 #2345是默认自启动的运行级别,如是-代表任何运行级别都不自启动;90是启动优先级,25是停止优先级,优先级范围是0-100,数字越大,优先级越低。
 [root@yuji ~]# chmod +x /etc/init.d/squid      #为脚本增加执行权限
 [root@yuji ~]# chkconfig --add squid           #加入系统服务管理
 [root@yuji ~]# chkconfig --list squid          #查看在哪些运行级别下自动启动
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


三、构建传统代理服务器(正向代理)


该模式是客户已知有这个代理服务器,需要手动在浏览器中设置使用。

Squid代理服务器:192.168.72.70/24

web服务器:192.168.72.60/24

客户机:192.168.72.50/24

1、代理服务器,编辑配置文件
 [root@yuji ~]# vim /etc/squid.conf
 ......
 http_access allow all
 http_access deny all
 http_port 3128
 cache_effective_user squid
 cache_effective_group squid
 --63行--插入
 cache_mem 1024 MB               
 #指定缓存功能所使用的内存空间大小,便于保持访问较频繁的WEB对象,容量最好为4的倍数,单位为MB,建议设为物理内存的1/4
 reply_body_max_size 100 MB          
 #允许用户下载的最大文件大小,以字节为单位,当下载超过指定大小的Web对象时,浏览器的报错页面中会出现“请求或访问太大”的提示。默认设置0表示不进行限制,若不限制需要将此行注释掉。
 maximum_object_size 100 MB          
 #允许保存到缓存空间的最大对象大小,以KB为单位,超过大小限制的文件将不被缓存,而是直接转发给用户。使用不多的大文件,则直接由web服务器响应,减少占用缓存服务器的空间
 [root@yuji ~]# service squid restart   #重启squid服务
 #生产环境中还需要修改防火墙规则
 [root@yuji ~]# iptables -F
 [root@yuji ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT    #允许tcp协议3128端口的流量通过
 2、web服务器安装apache
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 [root@web1 ~]# yum install -y httpd
 [root@web1 ~]# systemctl start httpd
 [root@web1 ~]# echo "tt is a girl" > /var/www/html/index.html
 3、客户机的代理配置,访问web服务器
 打开浏览器,工具-->Internet选项-->连接-->局域网设置-->开启代理服务器
 (地址:Squid服务器IP地址,端口:3128)
 4、查看 Squid 访问日志的新增记录中的缓存命中情况
 [root@yuji ~]# tail -f /usr/local/squid/var/logs/access.log
 TCP_MISS/200      #表示未命中缓存       
 TCP_MEM_HIT/200   #表示命中缓存
 5、查看 Web 访问日志的新增记录
 [root@web1 ~]# tail -f /var/log/httpd/access_log
 在浏览器输入Web服务器IP地址访问,查看Web服务器访问日志,显示的是由代理服务器替客户机在访问。地址不是真实的客户端地址,而是代理服务器地址。
复制代码


3.1 Squid代理服务器配置

网络异常,图片无法展示
|


网络异常,图片无法展示
|


3.2 web服务器安装apache:

网络异常,图片无法展示
|


3.3 客户机的代理配置:

在使用代理前,先访问一次web服务器。

网络异常,图片无法展示
|


之后配置代理:

网络异常,图片无法展示
|


配置代理后,再多次访问web服务器:

网络异常,图片无法展示
|


3.4 查看 Squid 访问日志的新增记录中的缓存命中情况:

网络异常,图片无法展示
|


3.5 查看 Web 访问日志的新增记录:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


第一次访问和第二次、第三次访问,会明显地感觉到访问速度的不同,因为第一次是经过代理服务器访问web服务器,能明显感觉到停滞了1秒,而第二次访问开始,就是一瞬间,页面就加载出来了,因为通过第一次的访问,代理服务器已经将这条访问信息记录到了本地的缓存中,第二次及之后的访问都是直接从缓存中获取数据,而不再经过代理服务器去访问web服务器。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
弹性计算 监控 负载均衡
|
1月前
|
缓存 监控 定位技术
|
2月前
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤,您不仅成功地在Kubernetes集群内部署了Prometheus,还实现了对集群外服务器的有效监控。理解并实施网络配置是关键,确保监控数据的准确无误传输。随着监控需求的增长,您还可以进一步探索Prometheus生态中的其他组件,如Alertmanager、Grafana等,以构建完整的监控与报警体系。
142 60
|
1月前
|
弹性计算 人工智能 数据安全/隐私保护
【手把手教你】如何免费畅快使用阿里云ECS搭建私有Overleaf论文写作服务
本文详细介绍如何利用阿里云ECS免费搭建私有Overleaf论文写作服务,包括ECS服务器的部署、Overleaf服务的安装、TexLive包的更新、XeLaTeX修复、中文字体支持及账号管理等步骤。通过这些操作,你可以实现免费且高效的多人协作论文写作,避免付费版本的高昂费用。适合需要频繁合作撰写论文的团队使用。
120 1
【手把手教你】如何免费畅快使用阿里云ECS搭建私有Overleaf论文写作服务
|
1月前
|
弹性计算 监控 容灾
阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行
在数字化时代,企业对信息技术的依赖加深,确保业务连续性至关重要。阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行。无论是小型企业还是大型企业,都能从中受益,确保在面对各种风险时保持业务稳定。
48 4
|
1月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
43 5
|
1月前
|
XML 前端开发 JavaScript
PHP与Ajax在Web开发中的交互技术。PHP作为服务器端脚本语言,处理数据和业务逻辑
本文深入探讨了PHP与Ajax在Web开发中的交互技术。PHP作为服务器端脚本语言,处理数据和业务逻辑;Ajax则通过异步请求实现页面无刷新更新。文中详细介绍了两者的工作原理、数据传输格式选择、具体实现方法及实际应用案例,如实时数据更新、表单验证与提交、动态加载内容等。同时,针对跨域问题、数据安全与性能优化提出了建议。总结指出,PHP与Ajax的结合能显著提升Web应用的效率和用户体验。
49 3
|
1月前
|
缓存 NoSQL 数据库
运用云数据库 Tair 构建缓存为应用提速,完成任务得苹果音响、充电套装等好礼!
本活动将带大家了解云数据库 Tair(兼容 Redis),通过体验构建缓存以提速应用,完成任务,即可领取罗马仕安卓充电套装,限量1000个,先到先得。邀请好友共同参与活动,还可赢取苹果 HomePod mini、小米蓝牙耳机等精美好礼!
|
1月前
|
Linux 数据库
Linux服务如何实现服务器重启后的服务延迟自启动?
【10月更文挑战第25天】Linux服务如何实现服务器重启后的服务延迟自启动?
312 3
|
2月前
|
存储 缓存 数据库
缓存技术有哪些应用场景呢
【10月更文挑战第19天】缓存技术有哪些应用场景呢