Web缓存服务——Squid代理服务器应用(上)

简介: 正向代理:代替客户端向服务端发送请求。反向代理:代理服务端,将请求转发给多个服务端。

一、Squid代理服务器介绍


Squid 主要提供缓存加速、应用层过滤控制的功能。


1.1 代理的工作机制(缓存网页对象,减少重复请求)

  1. 代替客户机向网站请求数据,从而可以隐藏用户的真实IP地址。
  2. 将获得的网页数据(静态 Web 元素)保存到缓存中并发送给客户机,以便下次请求相同的数据时快速响应。

网络异常,图片无法展示
|


1.2 代理服务器的概念及其作用

代理服务器是一个位于客户端和原始(资源)服务器之间的服务器,为了从原始服务器取得内容,客户端向代理服务器发送一个请求并指定目标原始服务器,然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于Web至关重要,尤其对于大型高负载Web站点。缓存可作为性能优化的一个重要手段,可以极大减轻后端服务器的负载。通常对于静态资源,即较少经常更新的资源,如图片,css或js等进行缓存,从而在每次刷新浏览器的时候,不用重新请求,而是从缓存里面读取,这样就可以减轻服务器的压力。

其主要作用有:

  • 资源获取: 代替客户端实现从原始服务器的资源获取;
  • 加速访问: 代理服务器可能离原始服务器更近,从而起到一定的加速作用;
  • 缓存作用: 代理服务器保存从原始服务器所获取的资源,从而实现客户端快速的获取;
  • 隐藏真实地址: 代理服务器代替客户端去获取原始服务器资源,从而隐藏客户端真实信息。

最基本的作用:提高web访问速度,隐藏客户机的真实IP地址。

1.3 Squid 代理的类型

传统代理: 适用于Internet 正向代理,需在客户机指定代理服务器的地址和端口。

透明代理: 客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

反向代理: 如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。


二、Squid 服务的安装和运行


2.1 编译安装Squid

#关闭防火墙和selinux
 [root@yuji ~]# systemctl disable --now firewalld
 [root@yuji ~]# setenforce 0
 #安装环境依赖包
 [root@yuji ~]# yum -y install gcc gcc-c++ make 
 #解压squid安装包
 [root@yuji ~]# tar zxvf squid-3.5.28.tar.gz -C /opt/ 
 #切换到源码包目录,设置安装路径和安装模块
 [root@yuji ~]# cd /opt/squid-3.5.28 
 [root@yuji ~]# ./configure --prefix=/usr/local/squid \      #指定安装目录路径
 --sysconfdir=/etc \                         #指定配置文件路径
 --enable-arp-acl \                          #MAC地址管控,防止客户端使用IP欺骗
 --enable-linux-netfilter \                  #使用内核过滤
 --enable-linux-tproxy \                     #支持透明模式
 --enable-async-io=100 \                     #异步IO,提升存储性能。先写入缓存,再写入硬盘
 --enable-err-language="Simplify_Chinese" \  #错误信息的显示语言
 --enable-underscore \                       #允许URL中有下划线
 --disable-poll \                            #关闭默认使用 poll 模式
 --enable-epoll \        #开启epoll模式提升性能,epoll模式可以支持IO多路复制,异步非阻塞
 --enable-gnuregex                           #使用GNU正则表达式
 [root@yuji ~]# make -j2 && make install     #开2核编译安装
 [root@yuji ~]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/   #优化路径,使系统直接能够识别squid命令
 [root@yuji ~]# useradd -M -s /sbin/nologin squid             #创建squid用户,不创建家目录,不可登录系统
 [root@yuji ~]# chown -R squid:squid  /usr/local/squid/var/   #修改属主属组,此目录用于存放缓存文件
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.2 修改 Squid 的配置文件

[root@yuji ~]# vim /etc/squid.conf
 ......
 --56行--插入
 http_access allow all    #放在 http_access deny all 之前,允许任意客户机使用代理服务,控制规则自上而下匹配
 http_access deny all
 http_port 3128           #用来指定代理服务监听的地址和端口(默认的端口号为 3128)
 --61行--插入
 cache_effective_user squid      #添加,指定程序用户,用来设置初始化、运行时缓存的账号,否则启动
 cache_effective_group squid     #添加,指定账号基本组
 coredump_dir /usr/local/squid/var/cache/squid     #指定缓存文件目录。默认有这一行,一般不做修改
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.3 Squid 的运行控制

#检查配置文件语法是否正确
 [root@yuji ~]# squid -k parse
 #启动 Squid,第一次启动 Squid 服务时,会自动初始化缓存目录
 [root@yuji ~]# squid -z        #-z 选项用来初始化缓存目录
 [root@yuji ~]# squid           #启动 squid 服务
 [root@yuji ~]# netstat -anpt | grep "squid"    #查看是否启动成功
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2.4 创建 Squid 服务脚本(将Squid加入系统服务管理)

[root@yuji ~]# vim /etc/init.d/squid
 #!/bin/bash
 #chkconfig: 2345 90 25
 PID="/usr/local/squid/var/run/squid.pid"
 CONF="/etc/squid.conf"
 CMD="/usr/local/squid/sbin/squid"
 case "$1" in
    start)
      netstat -natp | grep squid &> /dev/null
      if [ $? -eq 0 ]
      then
        echo "squid is running"
      else
        echo "正在启动 squid..."
        $CMD
      fi
    ;;
    stop)
      $CMD -k kill &> /dev/null
      rm -rf $PID &> /dev/null      #kill命令杀死进程,不会删除PID文件,需要手动删除PID文件,不然下次启动会有问题
    ;;
    status)
      [ -f $PID ] &> /dev/null
         if [ $? -eq 0 ]
           then
             netstat -natp | grep squid
           else
             echo "squid is not running"
         fi
    ;;
    restart)
       $0 stop &> /dev/null
       echo "正在关闭 squid..."
       $0 start &> /dev/null
       echo "正在启动 squid..."
    ;;
    reload)
       $CMD -k reconfigure
    ;;
    check)
       $CMD -k parse
    ;;
    *)
       echo "用法:$0 {start|stop|status|reload|check|restart}"
    ;;
 esac
 #2345是默认自启动的运行级别,如是-代表任何运行级别都不自启动;90是启动优先级,25是停止优先级,优先级范围是0-100,数字越大,优先级越低。
 [root@yuji ~]# chmod +x /etc/init.d/squid      #为脚本增加执行权限
 [root@yuji ~]# chkconfig --add squid           #加入系统服务管理
 [root@yuji ~]# chkconfig --list squid          #查看在哪些运行级别下自动启动
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


三、构建传统代理服务器(正向代理)


该模式是客户已知有这个代理服务器,需要手动在浏览器中设置使用。

Squid代理服务器:192.168.72.70/24

web服务器:192.168.72.60/24

客户机:192.168.72.50/24

1、代理服务器,编辑配置文件
 [root@yuji ~]# vim /etc/squid.conf
 ......
 http_access allow all
 http_access deny all
 http_port 3128
 cache_effective_user squid
 cache_effective_group squid
 --63行--插入
 cache_mem 1024 MB               
 #指定缓存功能所使用的内存空间大小,便于保持访问较频繁的WEB对象,容量最好为4的倍数,单位为MB,建议设为物理内存的1/4
 reply_body_max_size 100 MB          
 #允许用户下载的最大文件大小,以字节为单位,当下载超过指定大小的Web对象时,浏览器的报错页面中会出现“请求或访问太大”的提示。默认设置0表示不进行限制,若不限制需要将此行注释掉。
 maximum_object_size 100 MB          
 #允许保存到缓存空间的最大对象大小,以KB为单位,超过大小限制的文件将不被缓存,而是直接转发给用户。使用不多的大文件,则直接由web服务器响应,减少占用缓存服务器的空间
 [root@yuji ~]# service squid restart   #重启squid服务
 #生产环境中还需要修改防火墙规则
 [root@yuji ~]# iptables -F
 [root@yuji ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT    #允许tcp协议3128端口的流量通过
 2、web服务器安装apache
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 [root@web1 ~]# yum install -y httpd
 [root@web1 ~]# systemctl start httpd
 [root@web1 ~]# echo "tt is a girl" > /var/www/html/index.html
 3、客户机的代理配置,访问web服务器
 打开浏览器,工具-->Internet选项-->连接-->局域网设置-->开启代理服务器
 (地址:Squid服务器IP地址,端口:3128)
 4、查看 Squid 访问日志的新增记录中的缓存命中情况
 [root@yuji ~]# tail -f /usr/local/squid/var/logs/access.log
 TCP_MISS/200      #表示未命中缓存       
 TCP_MEM_HIT/200   #表示命中缓存
 5、查看 Web 访问日志的新增记录
 [root@web1 ~]# tail -f /var/log/httpd/access_log
 在浏览器输入Web服务器IP地址访问,查看Web服务器访问日志,显示的是由代理服务器替客户机在访问。地址不是真实的客户端地址,而是代理服务器地址。
复制代码


3.1 Squid代理服务器配置

网络异常,图片无法展示
|


网络异常,图片无法展示
|


3.2 web服务器安装apache:

网络异常,图片无法展示
|


3.3 客户机的代理配置:

在使用代理前,先访问一次web服务器。

网络异常,图片无法展示
|


之后配置代理:

网络异常,图片无法展示
|


配置代理后,再多次访问web服务器:

网络异常,图片无法展示
|


3.4 查看 Squid 访问日志的新增记录中的缓存命中情况:

网络异常,图片无法展示
|


3.5 查看 Web 访问日志的新增记录:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


第一次访问和第二次、第三次访问,会明显地感觉到访问速度的不同,因为第一次是经过代理服务器访问web服务器,能明显感觉到停滞了1秒,而第二次访问开始,就是一瞬间,页面就加载出来了,因为通过第一次的访问,代理服务器已经将这条访问信息记录到了本地的缓存中,第二次及之后的访问都是直接从缓存中获取数据,而不再经过代理服务器去访问web服务器。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
19小时前
|
网络协议 数据格式 Python
Python进阶---HTTP协议和Web服务器
Python进阶---HTTP协议和Web服务器
15 4
|
21小时前
|
弹性计算 关系型数据库 MySQL
【阿里云弹性计算】从零搭建:基于阿里云ECS的高性能Web服务部署实践
【5月更文挑战第21天】本文介绍了如何使用阿里云ECS搭建高性能Web服务。首先,注册阿里云账号购买ECS实例,选择合适配置。接着,通过SSH连接实例,更新系统并安装Apache、PHP和MySQL。创建网站目录,上传代码,配置数据库和PHP。然后,启用Gzip压缩和KeepAlive,调整Apache并发连接数以优化性能。此教程为在阿里云上构建高效Web服务提供了基础指南。
22 5
|
1天前
|
算法 Java
并发垃圾回收算法对于大规模服务器应用的优势
并发垃圾回收算法对于大规模服务器应用的优势
|
5天前
|
存储 缓存 前端开发
揭秘Web缓存:提升网站性能与用户体验
揭秘Web缓存:提升网站性能与用户体验
|
5天前
|
应用服务中间件 网络安全 Apache
构建高性能Web服务器:Nginx vs Apache
【5月更文挑战第16天】Nginx与Apache是两种主流Web服务器,各具优势。Nginx以其轻量级、高并发处理能力和反向代理功能见长,适合大型网站和高并发场景;而Apache以功能丰富、稳定性强闻名,适合企业网站和需要多种Web服务功能的场景。在性能上,Nginx处理高并发更优,Apache则可能在高负载时遭遇瓶颈。在选择时,应根据实际需求权衡。
|
6天前
|
JSON JavaScript API
使用 Node.js 开发一个简单的 web 服务器响应 HTTP post 请求
使用 Node.js 开发一个简单的 web 服务器响应 HTTP post 请求
19 1
|
6天前
|
JSON JavaScript 中间件
使用 Node.js 开发一个简单的 web 服务器响应 HTTP get 请求
使用 Node.js 开发一个简单的 web 服务器响应 HTTP get 请求
10 2
|
6天前
|
负载均衡 Go 调度
使用Go语言构建高性能的Web服务器:协程与Channel的深度解析
在追求高性能Web服务的今天,Go语言以其强大的并发性能和简洁的语法赢得了开发者的青睐。本文将深入探讨Go语言在构建高性能Web服务器方面的应用,特别是协程(goroutine)和通道(channel)这两个核心概念。我们将通过示例代码,展示如何利用协程处理并发请求,并通过通道实现协程间的通信和同步,从而构建出高效、稳定的Web服务器。
|
6天前
【计网·湖科大·思科】实验一 熟悉仿真软件及访问WEB服务器
【计网·湖科大·思科】实验一 熟悉仿真软件及访问WEB服务器
7 0
|
6天前
|
存储 安全 数据安全/隐私保护
Web应用程序的会话管理是一种跟踪和识别特定用户与Web服务器之间交互的技术
【5月更文挑战第12天】Python Web开发中,会话管理用于跟踪用户与服务器交互,如Flask框架提供的内置功能。以下是一个简单示例:安装Flask后,设置应用密钥,通过session读写用户状态。例如,创建一个显示和设置用户名称的Web应用,用户提交的名字将保存在会话中。在生产环境中,应安全存储密钥,如使用环境变量。扩展会话管理可借助第三方库实现更多功能,但可能需更多配置。
215 2