《高性能Linux服务器构建实战》——2.3节配置Varnish-阿里云开发者社区

开发者社区> 华章出版社> 正文

《高性能Linux服务器构建实战》——2.3节配置Varnish

简介: 本节书摘来自华章社区《高性能Linux服务器构建实战》一书中的第2章,第2.3节配置Varnish,作者:高俊峰,更多章节内容可以访问云栖社区“华章社区”公众号查看

2.3 配置Varnish

2.3.1 VCL使用说明
VCL,即为Varnish Configuation Language,用来定义Varnish的存取策略。VCL语法比较简单,跟C和Perl比较相似,可以使用指定运算符“=”、比较运算符“==”、逻辑运算符“!,&&,!!”等形式;还支持正则表达式和用“~”进行ACL匹配运算;还可以使用“set”这样的关键字来指定变量。
需要注意的是,“”字符在VCL里没有特别的含义,这点与其他语言略有不同。另外,VCL只是配置语言,并不是真正的编程语言,没有循环,也没有自定义变量。
在讲述Varnish配置之前,首先需要了解Varnish的配置语法,即VCL。下面对VCL常用的一些内置函数和公用变量进行详细介绍。

  1. VCL内置函数
    (1)vcl_recv函数

用于接收和处理请求。当请求到达并被成功接收后被调用,通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束。
pass:表示进入pass模式,把请求控制权交给vcl_pass函数。
pipe:表示进入pipe模式,把请求控制权交给vcl_pipe函数。
error code [reason]:表示返回“code”给客户端,并放弃处理该请求。“code”是错误标识,例如200和405等。“reason”是错误提示信息。
(2)vcl_pipe函数
此函数在进入pipe模式时被调用,用于将请求直接传递至后端主机,在请求和返回的内容没有改变的情况下,将不变的内容返回给客户端,直到这个连接被关闭。
此函数一般以如下几个关键字结束。
error code [reason]。
pipe。

(3)vcl_pass函数
此函数在进入pass模式时被调用,用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束。
error code [reason]。
pass。
(4)lookup
表示在缓存中查找被请求的对象,并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。
(5)vcl_hit函数
在执行lookup指令后,在缓存中找到请求的内容后将自动调用该函数。
此函数一般以如下几个关键字结束。
deliver:表示将找到的内容发送给客户端,并把控制权交给函数vcl_deliver。

error code [reason] 。
 pass。

(6)vcl_miss函数
在执行lookup指令后,在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否需要从后端服务器获取内容。
此函数一般以如下几个关键字结束。
fetch:表示从后端获取请求的内容,并把控制权交给vcl_fetch函数。

error code [reason] 。
 pass。

(7)vcl_fetch函数
在后端主机更新缓存并且获取内容后调用该方法,接着,通过判断获取的内容来决定是将内容放入缓存,还是直接返回给客户端。
此函数一般以如下几个关键字结束。

error code [reason]。
 pass。
 deliver。

(8)vcl_deliver函数
将在缓存中找到请求的内容发送给客户端前调用此方法。
此函数一般以如下几个关键字结束。

error code [reason]。
 deliver。

(9)vcl_timeout 函数
在缓存内容到期前调用此函数。
此函数一般以如下几个关键字结束。
discard:表示从缓存中清除该内容。
fetch。
(10)vcl_discard函数
在缓存内容到期后或缓存空间不够时,自动调用该函数。
此函数一般以如下几个关键字结束。
keep:表示将内容继续保留在缓存中。
discard。
2.VCL处理流程图
通过上面对VCL函数的介绍,读者能够对各个函数实现的功能有个简单的了解。其实每个函数之间都是相互关联的,图2-1所示为Varnish处理HTTP请求的运行流程图。


28828f2495d94c5f76bf5ccd9a02db4e1ec0d602

Varnish处理HTTP请求的过程大致分为如下几个步骤。
(1)Receive状态。也就是请求处理的入口状态,根据VCL规则判断该请求应该Pass或Pipe,还是进入Lookup(本地查询)。
(2)Lookup状态。进入此状态后,会在hash表中查找数据,若找到,则进入Hit状态,否则进入Miss状态。
(3)Pass状态。在此状态下,会进入后端请求,即进入Fetch状态。
(4)Fetch状态。在Fetch状态下,对请求进行后端获取,发送请求,获得数据,并进行本地存储。
(5)Deliver状态。 将获取到的数据发送给客户端,然后完成本次请求。
3.内置公用变量
VCL内置的公用变量可以用在不同的VCL函数中。下面根据这些公用变量使用的不同阶段依次进行介绍。
当请求到达后,可以使用的公用变量如表2-2所示。
表2-2 请求到达后可以使用的VCL内置的公用变量


c1a06181e6ac4b85f69c676273c3beebd58dec13

对客户端应答时,可以使用的公用变量如表2-5所示。


818008e9d8f545ae81f3bdc6ff1decadc128ec8b

在上面的讲述中,只介绍了常用的VCL内置公用变量,如果需要了解和使用更多的公用变量信息,请登录Varnish官方网站查阅。

2.3.2 配置一个简单的Varnish实例
由于版本不同,Varnish配置文件的写法也存在一定差异,Varnish的2.x版本不但在配置文件写法上和1.x版本不同,而且还增加了很多新功能,并且去除了很多应用bug。这里讲述的版本是Varnish 2.1.2,配置文件写法以Varnish 2.x版本为基准。
Varnish安装完成后,默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl,此文件内容默认全部被注释掉。这里以这个文件为模板,创建一个新的文件vcl.conf,并且将其放到/usr/local/varnish/etc目录下。配置完成的vcl.conf文件如下:

#通过backend定义一个名称为webserver的后端主机,“.host”指定后端主机的IP地址或者域
        #名,“.port”指定后端主机的服务器端口。其中,“192.168.12.26”就是后端的一个Web服务器
backend webserver {
     .host = "192.168.12.26";
     .port = "80";
 }

#开始调用vcl_recv
sub vcl_recv {
        if (req.http.x-forwarded-for) {
                   set req.http.X-Forwarded-For =
                    req.http.X-Forwarded-For ", " client.ip;
        } else {
                set req.http.X-Forwarded-For = client.ip;
        }
        #如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS或DELETE时,则进入
        # pipe模式。注意这里是“&&”关系
        if (req.request != "GET" &&
           req.request != "HEAD" &&
           req.request != "PUT" &&
           req.request != "POST" &&
           req.request != "TRACE" &&
           req.request != "OPTIONS" &&
           req.request != "DELETE") {
           return (pipe);
        }
             #如果请求的类型不是GET或HEAD,则进入pass模式
      if (req.request != "GET" && req.request != "HEAD") {
           return (pass);
        }

               #对ixdba.net或者ixdba.cn两个域名进行缓存加速。这是个泛域名的概念,也就
               #是将所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存
        if (req.http.host ~ "^(.*).ixdba.net" || req.http.host ~ "^(.*).ixdba.cn") {
           set req.backend = webserver;
        }

          #对以.jsp和.do结尾以及带有?的URL,直接从后端服务器读取内容
    if (req.url ~ "\.(jsp|do)($|\?)") {
           return (pass);
        } else {
        return (lookup);
        }
}
 
sub vcl_pipe {
     return (pipe);
}
 
sub vcl_pass {
     return (pass);
}
 
sub vcl_hash {
     set req.hash += req.url;
     if (req.http.host) {
         set req.hash += req.http.host;
     } else {
         set req.hash += server.ip;
     }
     return (hash);
}
 
sub vcl_hit {
    if (!obj.cacheable) {
        return (pass);
    }
    return (deliver);
}
 
sub vcl_miss {
     return (fetch);
}
 
sub vcl_fetch {
      if (!beresp.cacheable) {
         return (pass);
     }
     if (beresp.http.Set-Cookie) {
         return (pass);
     }

        #当url中包含servlet时,不进行缓存
    if (req.url ~ "^/servlet/") {
        return (pass);
    }

        #当url中包含services时,不进行缓存
    if (req.url ~ "^/services/") {
        return (pass);
    }

        #如果请求类型是GET,并且请求的URL中包含upload,那么就进行缓存,缓存的时间是
        #300秒,即5分钟
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
        set beresp.ttl = 300s;
    }
        #当请求类型是GET,并且请求的URL以png、xsl、xml、gif、css、js等结尾时,进行缓存,
        #缓存时间为600秒
    if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
       set beresp.ttl = 600s;
    }
    return (deliver);
}
         #下面添加一个Header标识,以判断缓存是否命中
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}

2.3.3 Varnish对应多台Web服务器的配置实例
VCL语法非常灵活,功能强大。下面是一个Varnish对应多台Web主机的应用实例,具有负载分担和健康检测机制。配置完成的vcl.conf文件如下:
下面定义了4台后端Web服务器

backend webserver1 {
  .host = "192.168.12.12";
  .port = "80";
}
backend webserver2 {
  .host = "192.168.12.13";
  .port = "80";
}
backend webserver3 {
  .host = "192.168.12.14";
  .port = "80";
}
backend webserver4 {
  .host = "192.168.12.15";
  .port = "80";
}                            
 
#定义一个名为webserver的director,也就是由webserver1和webserver2两台后端服务器随机分担
#请求。“.weight”用来指定两台后端服务器的权值。权值高的处理请求的几率就高些
director webserver random {
  {.backend = webserver1; .weight = 5;  }
  {.backend = webserver2; .weight = 8;  }
}
#这里设定清理缓存的规则,Varnish允许localhost、127.0.0.1和192.168.12.***三个来源IP通过
# PURGE方法清除缓存
acl purge {
  "localhost";
  "127.0.0.1";
  "192.168.12.0"/26;
}
sub vcl_recv {

#这里设定,当发送PURGE请求的客户端不是在acl中设定的地址时,将返回405状态代码,提示
#“Not allowed”。当请求的URL是以.php和.cgi结尾时,则交给后端服务器去处理
  if (req.request == "PURGE") {
      if (!client.ip ~ purge) {
      error 405 "Not allowed.";
    }
      elseif(req.url ~ "\.(php|cgi)($|\?)") {
      return (pass);
    }
      else {
      return (lookup);
    }
  }

#下面设定域名访问策略,其实也是设定对后端主机健康状态检测的一个机制。如果访问www.ixdba.net
#或者bbs.ixdba.net,并且请求重启次数为0,则将请求交给webserver来处理。如果请求重启次数
#为1,则将请求交给webserver3处理。如果访问img.ixdba.net或者images.ixdba.net,则将
#请求交给webserver4来处理
  if((req.http.host ~"^(www.|bbs.)?ixdba.net")&&(req.restarts == 0))  {
      set req.backend = webserver;
  } elseif(req.restarts == 1) {
      set req.backend = webserver3;
  }
  if(req.http.host ~"^(img.|images.)?ixdba.net") {
      set req.backend = webserver4;
  }
#下面定义缓存的策略。当请求以.cgi和.php结尾及带有?的URL时,不进行缓存,直接从后端服务器
#读取内容。其他请求都进入lookup模式,也就是进入cache中通过hash表寻找被请求的数据
  if (req.request != "GET" && req.request != "HEAD")
  {
    return (pipe);
  }
  elseif (req.url ~ "\.(cgi|php)($|\?)")
  {
   return (pass);
  }
  elseif (req.http.Authenticate || req.http.Authorization) {
    return (pass);
  }
  return (lookup);
}                                                                      
 
#如果请求的类型是PURGE方法,Varnishd会将此请求的缓存周期设置为0,也就是使这个URL的缓存失效,
#从而达到刷新Varnish缓存的目的
sub vcl_hit
{
  if (req.request == "PURGE") {
    set obj.ttl = 0s;
    error 200 "Purged.";
  }                            
 
  if (!obj.cacheable)
  {
    return (pass);
  }                  
 
  if (obj.http.Vary)
  {
    unset obj.http.Vary;
  }
}                       
 
sub vcl_miss
{
  if (req.request == "PURGE") {
    error 404 "Not in cache.";
  }
 
}
#定义hash的值,并且处理压缩内容
sub vcl_hash {
  set req.hash += req.url;
  if (req.http.host) {
    set req.hash += req.http.host;
  } else {
    set req.hash += server.ip;
  }
  if ( req.http.Accept-Encoding ){
    if (req.url ~ "\.(jpg|jpeg|png|gif|rar|zip|gz|tgz|bz2|tbz|mp3|ogg|swf|exe|flv|avi|rmvb|rm|mpg|mpeg|pdf)$") {
    } else {
        set req.hash += req.http.Accept-Encoding;
    }
  }
  return (hash);
}
 
sub vcl_fetch
{
     if (!beresp.cacheable) {
           return (pass);
     }

     if (beresp.http.Set-Cookie) {
            return (pass);
     }

#定义在什么状态下进入restart模式
     if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504 || beresp.status == 404) 
     {
         return (restart);
        }

#下面定义不缓存含有哪些HTTP头的请求
      if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private") {
          return (pass);
  }

#定义不同内容的缓存时间
      if (req.request == "GET" && req.url ~ "\.(css|js|html|htm)$") {
               set beresp.ttl = 300s;
    }
   if (req.request == "GET" && req.url ~ "\.(gif|jpg|jpeg|bmp|png|tiff|tif|ico|img|bmp|wmf)$") {
        set beresp.ttl = 3600s;     
        }    
   if (req.request == "GET" && req.url ~ "\.(svg|swf|ico|mp3|mp4|m4a|wav|rmvb|avi|wmv)$") {
        set beresp.ttl = 10d;
        }
return (deliver);

}
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

华章出版社

官方博客
官网链接