Web缓存服务——Squid代理服务器应用(上)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 正向代理:代替客户端向服务端发送请求。反向代理:代理服务端,将请求转发给多个服务端。

一、Squid代理服务器介绍


Squid 主要提供缓存加速、应用层过滤控制的功能。


1.1 代理的工作机制(缓存网页对象,减少重复请求)

  1. 代替客户机向网站请求数据,从而可以隐藏用户的真实IP地址。
  2. 将获得的网页数据(静态 Web 元素)保存到缓存中并发送给客户机,以便下次请求相同的数据时快速响应。

网络异常,图片无法展示
|


1.2 代理服务器的概念及其作用

代理服务器是一个位于客户端和原始(资源)服务器之间的服务器,为了从原始服务器取得内容,客户端向代理服务器发送一个请求并指定目标原始服务器,然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于Web至关重要,尤其对于大型高负载Web站点。缓存可作为性能优化的一个重要手段,可以极大减轻后端服务器的负载。通常对于静态资源,即较少经常更新的资源,如图片,css或js等进行缓存,从而在每次刷新浏览器的时候,不用重新请求,而是从缓存里面读取,这样就可以减轻服务器的压力。

其主要作用有:

  • 资源获取: 代替客户端实现从原始服务器的资源获取;
  • 加速访问: 代理服务器可能离原始服务器更近,从而起到一定的加速作用;
  • 缓存作用: 代理服务器保存从原始服务器所获取的资源,从而实现客户端快速的获取;
  • 隐藏真实地址: 代理服务器代替客户端去获取原始服务器资源,从而隐藏客户端真实信息。

最基本的作用:提高web访问速度,隐藏客户机的真实IP地址。

1.3 Squid 代理的类型

传统代理: 适用于Internet 正向代理,需在客户机指定代理服务器的地址和端口。

透明代理: 客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

反向代理: 如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。


二、Squid 服务的安装和运行


2.1 编译安装Squid

#关闭防火墙和selinux
 [root@yuji ~]# systemctl disable --now firewalld
 [root@yuji ~]# setenforce 0
 #安装环境依赖包
 [root@yuji ~]# yum -y install gcc gcc-c++ make 
 #解压squid安装包
 [root@yuji ~]# tar zxvf squid-3.5.28.tar.gz -C /opt/ 
 #切换到源码包目录,设置安装路径和安装模块
 [root@yuji ~]# cd /opt/squid-3.5.28 
 [root@yuji ~]# ./configure --prefix=/usr/local/squid \      #指定安装目录路径
 --sysconfdir=/etc \                         #指定配置文件路径
 --enable-arp-acl \                          #MAC地址管控,防止客户端使用IP欺骗
 --enable-linux-netfilter \                  #使用内核过滤
 --enable-linux-tproxy \                     #支持透明模式
 --enable-async-io=100 \                     #异步IO,提升存储性能。先写入缓存,再写入硬盘
 --enable-err-language="Simplify_Chinese" \  #错误信息的显示语言
 --enable-underscore \                       #允许URL中有下划线
 --disable-poll \                            #关闭默认使用 poll 模式
 --enable-epoll \        #开启epoll模式提升性能,epoll模式可以支持IO多路复制,异步非阻塞
 --enable-gnuregex                           #使用GNU正则表达式
 [root@yuji ~]# make -j2 && make install     #开2核编译安装
 [root@yuji ~]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/   #优化路径,使系统直接能够识别squid命令
 [root@yuji ~]# useradd -M -s /sbin/nologin squid             #创建squid用户,不创建家目录,不可登录系统
 [root@yuji ~]# chown -R squid:squid  /usr/local/squid/var/   #修改属主属组,此目录用于存放缓存文件
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.2 修改 Squid 的配置文件

[root@yuji ~]# vim /etc/squid.conf
 ......
 --56行--插入
 http_access allow all    #放在 http_access deny all 之前,允许任意客户机使用代理服务,控制规则自上而下匹配
 http_access deny all
 http_port 3128           #用来指定代理服务监听的地址和端口(默认的端口号为 3128)
 --61行--插入
 cache_effective_user squid      #添加,指定程序用户,用来设置初始化、运行时缓存的账号,否则启动
 cache_effective_group squid     #添加,指定账号基本组
 coredump_dir /usr/local/squid/var/cache/squid     #指定缓存文件目录。默认有这一行,一般不做修改
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.3 Squid 的运行控制

#检查配置文件语法是否正确
 [root@yuji ~]# squid -k parse
 #启动 Squid,第一次启动 Squid 服务时,会自动初始化缓存目录
 [root@yuji ~]# squid -z        #-z 选项用来初始化缓存目录
 [root@yuji ~]# squid           #启动 squid 服务
 [root@yuji ~]# netstat -anpt | grep "squid"    #查看是否启动成功
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.4 创建 Squid 服务脚本(将Squid加入系统服务管理)

[root@yuji ~]# vim /etc/init.d/squid
 #!/bin/bash
 #chkconfig: 2345 90 25
 PID="/usr/local/squid/var/run/squid.pid"
 CONF="/etc/squid.conf"
 CMD="/usr/local/squid/sbin/squid"
 case "$1" in
    start)
      netstat -natp | grep squid &> /dev/null
      if [ $? -eq 0 ]
      then
        echo "squid is running"
      else
        echo "正在启动 squid..."
        $CMD
      fi
    ;;
    stop)
      $CMD -k kill &> /dev/null
      rm -rf $PID &> /dev/null      #kill命令杀死进程,不会删除PID文件,需要手动删除PID文件,不然下次启动会有问题
    ;;
    status)
      [ -f $PID ] &> /dev/null
         if [ $? -eq 0 ]
           then
             netstat -natp | grep squid
           else
             echo "squid is not running"
         fi
    ;;
    restart)
       $0 stop &> /dev/null
       echo "正在关闭 squid..."
       $0 start &> /dev/null
       echo "正在启动 squid..."
    ;;
    reload)
       $CMD -k reconfigure
    ;;
    check)
       $CMD -k parse
    ;;
    *)
       echo "用法:$0 {start|stop|status|reload|check|restart}"
    ;;
 esac
 #2345是默认自启动的运行级别,如是-代表任何运行级别都不自启动;90是启动优先级,25是停止优先级,优先级范围是0-100,数字越大,优先级越低。
 [root@yuji ~]# chmod +x /etc/init.d/squid      #为脚本增加执行权限
 [root@yuji ~]# chkconfig --add squid           #加入系统服务管理
 [root@yuji ~]# chkconfig --list squid          #查看在哪些运行级别下自动启动
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


三、构建传统代理服务器(正向代理)


该模式是客户已知有这个代理服务器,需要手动在浏览器中设置使用。

Squid代理服务器:192.168.72.70/24

web服务器:192.168.72.60/24

客户机:192.168.72.50/24

1、代理服务器,编辑配置文件
 [root@yuji ~]# vim /etc/squid.conf
 ......
 http_access allow all
 http_access deny all
 http_port 3128
 cache_effective_user squid
 cache_effective_group squid
 --63行--插入
 cache_mem 1024 MB               
 #指定缓存功能所使用的内存空间大小,便于保持访问较频繁的WEB对象,容量最好为4的倍数,单位为MB,建议设为物理内存的1/4
 reply_body_max_size 100 MB          
 #允许用户下载的最大文件大小,以字节为单位,当下载超过指定大小的Web对象时,浏览器的报错页面中会出现“请求或访问太大”的提示。默认设置0表示不进行限制,若不限制需要将此行注释掉。
 maximum_object_size 100 MB          
 #允许保存到缓存空间的最大对象大小,以KB为单位,超过大小限制的文件将不被缓存,而是直接转发给用户。使用不多的大文件,则直接由web服务器响应,减少占用缓存服务器的空间
 [root@yuji ~]# service squid restart   #重启squid服务
 #生产环境中还需要修改防火墙规则
 [root@yuji ~]# iptables -F
 [root@yuji ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT    #允许tcp协议3128端口的流量通过
 2、web服务器安装apache
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 [root@web1 ~]# yum install -y httpd
 [root@web1 ~]# systemctl start httpd
 [root@web1 ~]# echo "tt is a girl" > /var/www/html/index.html
 3、客户机的代理配置,访问web服务器
 打开浏览器,工具-->Internet选项-->连接-->局域网设置-->开启代理服务器
 (地址:Squid服务器IP地址,端口:3128)
 4、查看 Squid 访问日志的新增记录中的缓存命中情况
 [root@yuji ~]# tail -f /usr/local/squid/var/logs/access.log
 TCP_MISS/200      #表示未命中缓存       
 TCP_MEM_HIT/200   #表示命中缓存
 5、查看 Web 访问日志的新增记录
 [root@web1 ~]# tail -f /var/log/httpd/access_log
 在浏览器输入Web服务器IP地址访问,查看Web服务器访问日志,显示的是由代理服务器替客户机在访问。地址不是真实的客户端地址,而是代理服务器地址。
复制代码


3.1 Squid代理服务器配置

网络异常,图片无法展示
|


网络异常,图片无法展示
|


3.2 web服务器安装apache:

网络异常,图片无法展示
|


3.3 客户机的代理配置:

在使用代理前,先访问一次web服务器。

网络异常,图片无法展示
|


之后配置代理:

网络异常,图片无法展示
|


配置代理后,再多次访问web服务器:

网络异常,图片无法展示
|


3.4 查看 Squid 访问日志的新增记录中的缓存命中情况:

网络异常,图片无法展示
|


3.5 查看 Web 访问日志的新增记录:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


第一次访问和第二次、第三次访问,会明显地感觉到访问速度的不同,因为第一次是经过代理服务器访问web服务器,能明显感觉到停滞了1秒,而第二次访问开始,就是一瞬间,页面就加载出来了,因为通过第一次的访问,代理服务器已经将这条访问信息记录到了本地的缓存中,第二次及之后的访问都是直接从缓存中获取数据,而不再经过代理服务器去访问web服务器。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4天前
|
存储 缓存 前端开发
如何优化 SSR 应用以减少服务器压力
优化SSR应用以减少服务器压力,可采用代码分割、缓存策略、数据预加载、服务端性能优化、使用CDN、SSR与SSG结合、限制并发请求、SSR与CSR平滑切换、优化前端资源及利用框架特性等策略。这些方法能有效提升性能和稳定性,同时保证用户体验。
|
15天前
|
缓存 监控 定位技术
|
15天前
|
前端开发 JavaScript 安全
前端性能调优:HTTP/2与HTTPS在Web加速中的应用
【10月更文挑战第27天】本文介绍了HTTP/2和HTTPS在前端性能调优中的应用。通过多路复用、服务器推送和头部压缩等特性,HTTP/2显著提升了Web性能。同时,HTTPS确保了数据传输的安全性。文章提供了示例代码,展示了如何使用Node.js创建一个HTTP/2服务器。
30 3
|
21天前
|
移动开发 开发者 HTML5
构建响应式Web界面:Flexbox与Grid的实战应用
【10月更文挑战第22天】随着互联网的普及,用户对Web界面的要求越来越高,不仅需要美观,还要具备良好的响应性和兼容性。为了满足这些需求,Web开发者需要掌握一些高级的布局技术。Flexbox和Grid是现代Web布局的两大法宝,它们分别由CSS3和HTML5引入,能够帮助开发者构建出更加灵活和易于维护的响应式Web界面。本文将深入探讨Flexbox和Grid的实战应用,并通过具体实例来展示它们在构建响应式Web界面中的强大能力。
34 3
|
7天前
|
弹性计算 开发工具 git
2分钟在阿里云ECS控制台部署个人应用(图文示例)
作为一名程序员,我在部署托管于Github/Gitee的代码到阿里云ECS服务器时,经常遇到繁琐的手动配置问题。近期,阿里云ECS控制台推出了一键构建部署功能,简化了这一过程,支持Gitee和GitHub仓库,自动处理git、docker等安装配置,无需手动登录服务器执行命令,大大提升了部署效率。本文将详细介绍该功能的使用方法和适用场景。
2分钟在阿里云ECS控制台部署个人应用(图文示例)
|
3天前
|
缓存 安全 网络安全
HTTP/2与HTTPS在Web加速中的应用
HTTP/2与HTTPS在Web加速中的应用
|
6天前
|
SQL 安全 前端开发
PHP与现代Web开发:构建高效的网络应用
【10月更文挑战第37天】在数字化时代,PHP作为一门强大的服务器端脚本语言,持续影响着Web开发的面貌。本文将深入探讨PHP在现代Web开发中的角色,包括其核心优势、面临的挑战以及如何利用PHP构建高效、安全的网络应用。通过具体代码示例和最佳实践的分享,旨在为开发者提供实用指南,帮助他们在不断变化的技术环境中保持竞争力。
|
16天前
|
前端开发 安全 应用服务中间件
前端性能调优:HTTP/2与HTTPS在Web加速中的应用
【10月更文挑战第26天】随着互联网的快速发展,前端性能调优成为开发者的重要任务。本文探讨了HTTP/2与HTTPS在前端性能优化中的应用,介绍了二进制分帧、多路复用和服务器推送等特性,并通过Nginx配置示例展示了如何启用HTTP/2和HTTPS,以提升Web应用的性能和安全性。
17 3
|
16天前
|
前端开发 JavaScript API
前端框架新探索:Svelte在构建高性能Web应用中的优势
【10月更文挑战第26天】近年来,前端技术飞速发展,Svelte凭借独特的编译时优化和简洁的API设计,成为构建高性能Web应用的优选。本文介绍Svelte的特点和优势,包括编译而非虚拟DOM、组件化开发、状态管理及响应式更新机制,并通过示例代码展示其使用方法。
33 2
|
17天前
|
测试技术 持续交付 PHP
PHP在Web开发中的应用与最佳实践###
【10月更文挑战第25天】 本文将深入探讨PHP在现代Web开发中的应用及其优势,并分享一些最佳实践来帮助开发者更有效地使用PHP。无论是初学者还是有经验的开发者,都能从中受益。 ###
38 1