AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Varnish介绍，安装与配置详解。

2017-11-13 1329
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

一、Varnish 简介

        Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好。


        Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算 机系统的内存除了主存外，还包括了CPU内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此Squid Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。


        Varnish 项目是2006年发布的第一个版本0.9.距今已经八年多了，此文档之前也提过varnish还不稳定，那是2007年时候编写的，经过varnish开 发团队和网友们的辛苦耕耘，现在的varnish已经很健壮。很多门户网站已经部署了varnish，并且反应都很好，甚至反应比squid还稳定，且效 率更高，资源占用更少。相信在反向代理，web加速方面，varnish已经有足够能力代替squid。


二、Varnish状态引擎


wKiom1PxZorS50Y_AAMZtFoJlSU676.jpg

  • Receive状态，也就是请求处理的入口状态，根据VCL规则判断该请求应该Pass或Pipe，还是进入Lookup（本地查询）。

  • Lookup状态，进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入miss状态。

  • Pass状态，在此状态下，会进入后端请求，即进入Fetch状态。

  • Fetch状态，在Fetch状态下，对请求进行后端获取，发送请求，获得数据，是否进行本地存储。

  • Deliver状态， 将获取到的数据发送给客户端，然后完成本次请求。

  • pipe状态时，请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个链接被关闭。

三、内置公用变量

VCL内置的公用变量可以用在不同的VCL函数中。下面根据这些公用变量使用的不同阶段依次进行介绍。

(1).当请求到达后，可以使用的公用变量

  • req.backend 指定对应的后端主机

  • server.ip 表示服务器端IP

  • client.ip 表示客户端IP

  • req.request 指定请求的类型，例如GET、HEAD和POST等

  • req.url 指定请求的地址

  • req.proto 表示客户端发起请求的HTTP协议版本

  • req.http.header 表示对应请求中的HTTP头部信息

  • req. restarts ;/.l表示请求重启的次数，默认最大值为4

(2).Varnish在向后端主机请求时，可以使用的公用变量

  • beresp.request 指定请求的类型，例如GET合HEAD等

  • beresp.url 指定请求的地址

  • beresp .proto 表示客户端发起请求的HTTP协议版本

  • beresp .http.header 表示对应请求中的HTTP头部信息

  • beresp .ttl 表示缓存的生存周期，也就是cache保留多长时间，单位是秒

(3).从cache或后端主机获取内容后，可以使用的公用变量

  • obj.status 表示返回内容的请求状态代码，例如200、302和504等

  • obj.cacheable 表示返回的内容是否可以缓存，也就是说，如果HTTP返回的是200、203、300、301、302、404或410等，并且有非0的生存期，则可以缓存

  • obj.valid 表示是否是有效的HTTP应答

  • obj.response 表示返回内容的请求状态信息

  • obj.proto 表示返回内容的HTTP协议版本

  • obj.ttl 表示返回内容的生存周期，也就是缓存时间，单位是秒

  • obj.lastuse 表示返回上一次请求到现在的间隔时间，单位是秒

(4).对客户端应答时，可以使用的公用变量

  • resp.status 表示返回给客户端的HTTP状态代码

  • resp.proto 表示返回给客户端的HTTP协议版本

  • resp.http.header 表示返回给客户端的HTTP头部信息

  • resp.response 表示返回给客户端的HTTP状态信息

在上面的讲述中，只介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录varnish官方网站查阅。https://www.varnish-cache.org/docs/3.0/


四、安装与基本配置

直接去官网下载rpm包安装即可。

编辑启动脚本配置文件  /etc/sysconfig/varnish

NFILES=131072  //定义最大打开文件的数量

MEMLOCK=82000  //定义用于缓存日志的空间 （KB）

NPROCS="unlimited"  //最大打开的线程数量unlimited（无上限）

RELOAD_VCL=1   //无需重启服务，可以重新编译载入VCL

VARNISH_VCL_CONF=/etc/varnish/default.vcl  //规则文件

VARNISH_LISTEN_PORT=80  //服务侦听端口

VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1  //管理接口侦听的地址

VARNISH_ADMIN_LISTEN_PORT=6082  //管理端口

VARNISH_SECRET_FILE=/etc/varnish/secret  //密钥文件

VARNISH_MIN_THREADS=50  //最小线程数

VARNISH_MAX_THREADS=1000  //最大线程数

VARNISH_THREAD_TIMEOUT=120   //线程超时时间

#VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin

#VARNISH_STORAGE_SIZE=1G

VARNISH_MEMORY_SIZE=64M   //使用缓存的内存大小

VARNISH_STORAGE="malloc,${VARNISH_MEMORY_SIZE}" //指定缓存类型，这是是指使用内存缓存。也可以用file指定缓存至磁盘文件上。

VARNISH_TTL=120


DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} \
             -f ${VARNISH_VCL_CONF} \
             -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} \
             -t ${VARNISH_TTL} \
             -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} \
             -u varnish -g varnish \
             -S ${VARNISH_SECRET_FILE} \
             -s ${VARNISH_STORAGE}"


启动varnish

/etc/init.d/varnish start

连接管理端口，查看管理命令。

varnishadm -S /etc/varnish/secret  -T 127.0.0.1:6082

wKiom1Pxk7PhraNrAAJj-uNDMdA964.jpg

五、配置一个简单的后端

vim /etc/varnish/default.vcl


backend default {  //定义后端主机。
  .host = "192.168.18.201";
  .port = "80";
}
sub vcl_recv {  //在recv调用。
        set req.backend = default;
}

加载配置文件，使用配置。 

varnishadm

vcl.load d2 /etc/varnish/default.vcl

vcl.use d2

测试一下

wKioL1PxmwDgILehAAMDolwntAI368.jpg


已成功代理至后端服务器，但是我们无法查看是否命中，接下来添加配置。

sub vcl_deliver {
        if (obj.hits > 0) {
        set resp.http.X-cache = "Hit from" +" "+server.ip;
         } else {
        set resp.http.X-cache = "Miss var"+" "+server.ip;
        }
}

重新载入文件和上述方法相同（略）

测试效果

wKiom1PxnVqjsWIdAAE2uWkaDvw273.jpg

现在配置不让它缓存

backend default {
  .host = "192.168.18.201";
  .port = "80";
}
sub vcl_recv {
        if (req.url ~ "\.jsp$") {
          return(pass);
}
        set req.backend = default;
}
sub vcl_deliver {
        if (obj.hits > 0) {
        set resp.http.X-cache = "Hit from" +" "+server.ip;
         } else {
        set resp.http.X-cache = "Miss var"+" "+server.ip;
        }
}
wKioL1PxolfyEHggAAFBny6y72s359.jpg


控制某个目录下的文件不让缓存

backend default {
  .host = "192.168.18.201";
  .port = "80";
}
sub vcl_recv {
        if (req.url ~ "^/bbs/" ) {
          return(pass);
}
        set req.backend = default;
}
sub vcl_deliver {
        if (obj.hits > 0) {
        set resp.http.X-cache = "Hit from" +" "+server.ip;
         } else {
        set resp.http.X-cache = "Miss var"+" "+server.ip;
        }
}

上面的所有配置都是根据用户请求的内容做出决策的，下面我们来配置根据响应的内容做出决策。

定义缓存TTL时间

sub vcl_fetch {
     if  (req.request ==  "GET"  && req.url ~  "\.(html|css|js|jpg|jpeg|png|gif)$" ) {
         set  beresp.ttl = 3600s;
     }
}

六、两台WEB服务器动静分离实例
backend web1 {
  .host = "192.168.18.201";
  .port = "80";
}
backend web2 {
  .host = "192.168.18.202";
  .port = "80";
}
sub vcl_recv {

        if (req.url ~ "\.jsp$") {
          set req.backend = web2;
}   else {
          set req.backend = web1;
}
}
sub vcl_fetch {
        if (req.request == "GET" && req.url ~ "\.(html|jpg|jpeg|css|js|bmp|ico|txt)$") {
                set beresp.ttl = 3600s;
}
}

sub vcl_deliver {
        if (obj.hits > 0) {
        set resp.http.X-cache = "Hit from" +" "+server.ip;
         } else {
        set resp.http.X-cache = "Miss var"+" "+server.ip;
        }
}

七、配置健康状态检测

.url  //指定检测的URL

.request 探测后端主机健康状态时所请求内容的详细格式，定义后，它会替换.url指定的探测方式；比如：

.request =
   "GET /.healthtest.html HTTP/1.1"
   "Host: www.test.com"
   "Connection: close" ;

.window   //做健康状况检测时，至少要采样多少次；

.threshold  //在.window中指定的次数中，至少有多少次是成功的才判定后端主机正健康运行；默认是3；

.initial    //Varnish启动时对后端主机至少需要多少次的成功探测，默认同.threshold；

.expected_response    //期望后端主机响应的状态码，默认为200； 
.interval     //探测请求的发送频率，默认为5秒； 
.timeout    //每次探测请求的过期时长，默认为2秒；

有两种定义方式：

1、在backend中使用.probe 定义，例：

backend www {
  .host = "www.tuchao.com";
  .port = "http";
  .probe = {
    .url = "/test.jpg";
    .timeout = 1s;
    .window = 8;
    .threshold = 3;
    .initial = 3;
  }
}

2、可以明确的定义一个公共的probe，在backend中用.probe调用。例：

probe healthchk {
  .url = "/health.html";
  .interval = 2s;
  .timeout = 2s;
  .expected_response = 200;
  .window = 3;
  .threshold = 1;
}
backend web1 {
  .host = "192.168.18.201";
  .port = "80";
  .probe = healthchk;
}
backend web2 {
  .host = "192.168.18.202";
  .port = "80";
  .probe = healthchk;
}

sub vcl_recv {

        if (req.url ~ "\.jsp$") {
          set req.backend = web2;
}   else {
          set req.backend = web1;
}
}
sub vcl_fetch {
        if (req.request == "GET" && req.url ~ "\.(html|jpg|jpeg|css|js|bmp|ico|txt)$") {
                set beresp.ttl = 3600s;
}
}

sub vcl_deliver {
        if (obj.hits > 0) {
        set resp.http.X-cache = "Hit from" +" "+server.ip;
         } else {
        set resp.http.X-cache = "Miss var"+" "+server.ip;
        }
}


八、负载均衡的实现

调度算法：

random   //根据权重随机调度

hash    //将同一个请求发往同一个主机


配置实例：

probe healthchk {
  .url = "/health.html";
  .interval = 2s;
  .timeout = 2s;
  .expected_response = 200;
  .window = 3;
  .threshold = 1;
}
backend web1 {
  .host = "192.168.18.201";
  .port = "80";
  .probe = healthchk;
}
backend web2 {
  .host = "192.168.18.202";
  .port = "80";
  .probe = healthchk;
}
director webs random {     //定义集群，定义调度算法。
        .retries = 2;
        {
                .backend = web1;
                .weight = 1;
        }
        {
                .backend = web2;
                .weight = 1;
        }
}

sub vcl_recv {
        set req.backend = webs;
}
sub vcl_fetch {
        if (req.request == "GET" && req.url ~ "\.(html|jpg|jpeg|css|js|bmp|ico|txt)$") {
                set beresp.ttl = 3600s;
}
}


九、移除单个缓存对象配置实例


probe healthchk {
  .url = "/health.html";
  .interval = 2s;
  .timeout = 2s;
  .expected_response = 200;
  .window = 3;
  .threshold = 1;
}
acl purgers {
        "127.0.0.1";
        "192.168.18.0"/24;
}
backend web1 {
  .host = "192.168.18.201";
  .port = "80";
  .probe = healthchk;
}
backend web2 {
  .host = "192.168.18.202";
  .port = "80";
  .probe = healthchk;
}
director webs hash {
        .retries = 2;
        {
                .backend = web1;
                .weight = 1;
        }
        {
                .backend = web2;
                .weight = 1;
        }
}

sub vcl_recv {
        if (req.request == "PURGE") {
             if (!client.ip ~ purgers) {
                 error 405 "Method not allow";
        }
                return (lookup);
        }
        set req.backend = webs;
}
sub vcl_hit {
        if (req.request == "PURGE") {
                purge;
                error 200 "Purged";
        }
}
sub vcl_miss {
        if (req.request == "PURGE") {
                purge;
                error 404 "Not in cache.";
        }
}
sub vcl_pass {
        if (req.request == "PURGE") {
                error 502 "Purged on a passed object.";
        }
}

测试效果

先访问一下

wKioL1PyAG_zjX4zAAHuzcV28gk630.jpg


这时执行PURGE清除

wKioL1PyAJyA3_NpAAIAsq6g2Uk384.jpg

再访问一下

wKioL1PyAMGRQG_JAAG8pweQoPU865.jpg

看，Miss，缓存被成功清除。

十、防盗链配置实例

sub vcl_recv {
        if (req.http.referer ~ "http://.*" ) {
                if (!(req.http.referer ~ "http://.*\.tuchao\.com" || req.http.referer ~ "http://.*\.google\.com.*" || req.http.referer ~ "http://.*\.baidu\.com.*" )) {
                set req.http.host = "www.tuchao.com";
                set req.url = "/referer/tuchao.html";
        }
}

        if (req.request == "PURGE") {
             if (!client.ip ~ purgers) {
                 error 405 "Method not allow";
        }
                return (lookup);
        }
        set req.backend = webs;
}

测试结果

wKiom1PyC7DyWtTBAAJ5ZShpzEo655.jpg


这篇就写到这里了，总共分了十个章节，希望大家能从中学习到知识。

我掌握的也不牢靠，欢迎大家与我交流QQ1183710107.

本文转自qw87112 51CTO博客，原文链接:http://blog.51cto.com/tchuairen/1541694
文章标签：
Web App开发
缓存
JavaScript
前端开发
调度
科技小能手
目录
相关文章
游客cxtb2yf2r55as
|
2月前
|
负载均衡 算法 应用服务中间件
Nginx安装及配置详解
Nginx安装及配置详解
游客cxtb2yf2r55as
69 1
GG2020gg
|
7月前
|
存储 缓存 运维
LAMP+Varnish缓存详解（一）——Varnish简介
LAMP+Varnish缓存详解（一）——Varnish简介
GG2020gg
73 0
余二五
|
Web App开发 存储 缓存
Varnish原理和配置详解
余二五
1567 0
余二五
|
存储 缓存 监控
varnish 配置详解
余二五
1310 0
技术小胖子
|
存储 缓存 安全
Varnish配置详解
技术小胖子
1092 0
科技小先锋
安装varnish的问题
科技小先锋
978 0
科技探索者
|
应用服务中间件 nginx
nginx 编译安装与配置详解
科技探索者
1089 0
科技探索者
|
存储 缓存 监控
Varnish 安装及配置
科技探索者
1122 0
余二五
|
监控 负载均衡 网络协议
haproxy配置详解
余二五
890 0
科技小能手
|
缓存 前端开发 JavaScript
varnish配置详解及实例
科技小能手
1042 0

热门文章

最新文章

  • 1
    天猫精灵开放平台-之小百科测评
  • 2
    语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引
  • 3
    3D立方体图片切换动画
  • 4
    模态对话框和非模态对话框
  • 5
    java03
  • 6
    冒泡排序
  • 7
    Windows XP客户端加域操作手册上
  • 8
    微信 6.5.1 for iOS发布 可以在朋友圈分享相册中的视频
  • 9
    Chapter 1: Creating the GUI Form and Adding Widgets
  • 10
    【Mockplus教程】帐号和购买
  • 1
    「Mac畅玩鸿蒙与硬件42」UI互动应用篇19 - 数字键盘应用
    33
  • 2
    赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读
    28
  • 3
    RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking、SLM-SFT）
    24
  • 4
    Python学习的自我理解和想法（2）
    25
  • 5
    Transformer图解
    31
  • 6
    API安全专题：如何有效应对新型Bot攻击？
    17
  • 7
    Selenium IDE：Web自动化测试的得力助手
    31
  • 8
    《docker高级篇（大厂进阶）：5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
    47
  • 9
    24/7全时守护：AI视频监控技术的深度实现与应用分享
    38
  • 10
    《docker高级篇（大厂进阶）：6.Docker轻量级可视化工具Portainer》
    25

    • 相关课程

    更多
  • Linux Web服务器Nginx搭建与配置

    • 相关电子书

    更多
  • 《Nginx 代理系统常用手册》
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月