2.3 配置Varnish
2.3.1 VCL使用说明
VCL，即为Varnish Configuation Language，用来定义Varnish的存取策略。VCL语法比较简单，跟C和Perl比较相似，可以使用指定运算符“=”、比较运算符“==”、逻辑运算符“!,&&,!!”等形式；还支持正则表达式和用“~”进行ACL匹配运算；还可以使用“set”这样的关键字来指定变量。
需要注意的是，“”字符在VCL里没有特别的含义，这点与其他语言略有不同。另外，VCL只是配置语言，并不是真正的编程语言，没有循环，也没有自定义变量。
在讲述Varnish配置之前，首先需要了解Varnish的配置语法，即VCL。下面对VCL常用的一些内置函数和公用变量进行详细介绍。
- VCL内置函数
（1）vcl_recv函数
用于接收和处理请求。当请求到达并被成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束。
pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。
error code [reason]：表示返回“code”给客户端，并放弃处理该请求。“code”是错误标识，例如200和405等。“reason”是错误提示信息。
（2）vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个连接被关闭。
此函数一般以如下几个关键字结束。
error code [reason]。
pipe。
（3）vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束。
error code [reason]。
pass。
（4）lookup
表示在缓存中查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。
（5）vcl_hit函数
在执行lookup指令后，在缓存中找到请求的内容后将自动调用该函数。
此函数一般以如下几个关键字结束。
deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。
error code [reason] 。
pass。
（6）vcl_miss函数
在执行lookup指令后，在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否需要从后端服务器获取内容。
此函数一般以如下几个关键字结束。
fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。
error code [reason] 。
pass。
（7）vcl_fetch函数
在后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端。
此函数一般以如下几个关键字结束。
error code [reason]。
pass。
deliver。
（8）vcl_deliver函数
将在缓存中找到请求的内容发送给客户端前调用此方法。
此函数一般以如下几个关键字结束。
error code [reason]。
deliver。
（9）vcl_timeout 函数
在缓存内容到期前调用此函数。
此函数一般以如下几个关键字结束。
discard：表示从缓存中清除该内容。
fetch。
（10）vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该函数。
此函数一般以如下几个关键字结束。
keep：表示将内容继续保留在缓存中。
discard。
2.VCL处理流程图
通过上面对VCL函数的介绍，读者能够对各个函数实现的功能有个简单的了解。其实每个函数之间都是相互关联的，图2-1所示为Varnish处理HTTP请求的运行流程图。
Varnish处理HTTP请求的过程大致分为如下几个步骤。
（1）Receive状态。也就是请求处理的入口状态，根据VCL规则判断该请求应该Pass或Pipe，还是进入Lookup（本地查询）。
（2）Lookup状态。进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入Miss状态。
（3）Pass状态。在此状态下，会进入后端请求，即进入Fetch状态。
（4）Fetch状态。在Fetch状态下，对请求进行后端获取，发送请求，获得数据，并进行本地存储。
（5）Deliver状态。 将获取到的数据发送给客户端，然后完成本次请求。
3.内置公用变量
VCL内置的公用变量可以用在不同的VCL函数中。下面根据这些公用变量使用的不同阶段依次进行介绍。
当请求到达后，可以使用的公用变量如表2-2所示。
表2-2 请求到达后可以使用的VCL内置的公用变量
对客户端应答时，可以使用的公用变量如表2-5所示。
在上面的讲述中，只介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录Varnish官方网站查阅。
2.3.2 配置一个简单的Varnish实例
由于版本不同，Varnish配置文件的写法也存在一定差异，Varnish的2.x版本不但在配置文件写法上和1.x版本不同，而且还增加了很多新功能，并且去除了很多应用bug。这里讲述的版本是Varnish 2.1.2，配置文件写法以Varnish 2.x版本为基准。
Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉。这里以这个文件为模板，创建一个新的文件vcl.conf，并且将其放到/usr/local/varnish/etc目录下。配置完成的vcl.conf文件如下：
#通过backend定义一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域
#名，“.port”指定后端主机的服务器端口。其中，“192.168.12.26”就是后端的一个Web服务器
backend webserver {
.host = "192.168.12.26";
.port = "80";
}
#开始调用vcl_recv
sub vcl_recv {
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For ", " client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
#如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS或DELETE时，则进入
# pipe模式。注意这里是“&&”关系
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE") {
return (pipe);
}
#如果请求的类型不是GET或HEAD，则进入pass模式
if (req.request != "GET" && req.request != "HEAD") {
return (pass);
}
#对ixdba.net或者ixdba.cn两个域名进行缓存加速。这是个泛域名的概念，也就
#是将所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存
if (req.http.host ~ "^(.*).ixdba.net" || req.http.host ~ "^(.*).ixdba.cn") {
set req.backend = webserver;
}
#对以.jsp和.do结尾以及带有?的URL，直接从后端服务器读取内容
if (req.url ~ "\.(jsp|do)($|\?)") {
return (pass);
} else {
return (lookup);
}
}
sub vcl_pipe {
return (pipe);
}
sub vcl_pass {
return (pass);
}
sub vcl_hash {
set req.hash += req.url;
if (req.http.host) {
set req.hash += req.http.host;
} else {
set req.hash += server.ip;
}
return (hash);
}
sub vcl_hit {
if (!obj.cacheable) {
return (pass);
}
return (deliver);
}
sub vcl_miss {
return (fetch);
}
sub vcl_fetch {
if (!beresp.cacheable) {
return (pass);
}
if (beresp.http.Set-Cookie) {
return (pass);
}
#当url中包含servlet时，不进行缓存
if (req.url ~ "^/servlet/") {
return (pass);
}
#当url中包含services时，不进行缓存
if (req.url ~ "^/services/") {
return (pass);
}
#如果请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是
#300秒，即5分钟
if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
set beresp.ttl = 300s;
}
#当请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，进行缓存，
#缓存时间为600秒
if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
set beresp.ttl = 600s;
}
return (deliver);
}
#下面添加一个Header标识，以判断缓存是否命中
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from www.ixdba.net";
} else {
set resp.http.X-Cache = "MISS from www.ixdba.net";
}
return (deliver);
}
2.3.3 Varnish对应多台Web服务器的配置实例
VCL语法非常灵活，功能强大。下面是一个Varnish对应多台Web主机的应用实例，具有负载分担和健康检测机制。配置完成的vcl.conf文件如下：
下面定义了4台后端Web服务器
backend webserver1 {
.host = "192.168.12.12";
.port = "80";
}
backend webserver2 {
.host = "192.168.12.13";
.port = "80";
}
backend webserver3 {
.host = "192.168.12.14";
.port = "80";
}
backend webserver4 {
.host = "192.168.12.15";
.port = "80";
}
#定义一个名为webserver的director，也就是由webserver1和webserver2两台后端服务器随机分担
#请求。“.weight”用来指定两台后端服务器的权值。权值高的处理请求的几率就高些
director webserver random {
{.backend = webserver1; .weight = 5; }
{.backend = webserver2; .weight = 8; }
}
#这里设定清理缓存的规则，Varnish允许localhost、127.0.0.1和192.168.12.***三个来源IP通过
# PURGE方法清除缓存
acl purge {
"localhost";
"127.0.0.1";
"192.168.12.0"/26;
}
sub vcl_recv {
#这里设定，当发送PURGE请求的客户端不是在acl中设定的地址时，将返回405状态代码，提示
#“Not allowed”。当请求的URL是以.php和.cgi结尾时，则交给后端服务器去处理
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
elseif(req.url ~ "\.(php|cgi)($|\?)") {
return (pass);
}
else {
return (lookup);
}
}
#下面设定域名访问策略，其实也是设定对后端主机健康状态检测的一个机制。如果访问www.ixdba.net
#或者bbs.ixdba.net，并且请求重启次数为0，则将请求交给webserver来处理。如果请求重启次数
#为1，则将请求交给webserver3处理。如果访问img.ixdba.net或者images.ixdba.net，则将
#请求交给webserver4来处理
if((req.http.host ~"^(www.|bbs.)?ixdba.net")&&(req.restarts == 0)) {
set req.backend = webserver;
} elseif(req.restarts == 1) {
set req.backend = webserver3;
}
if(req.http.host ~"^(img.|images.)?ixdba.net") {
set req.backend = webserver4;
}
#下面定义缓存的策略。当请求以.cgi和.php结尾及带有?的URL时，不进行缓存，直接从后端服务器
#读取内容。其他请求都进入lookup模式，也就是进入cache中通过hash表寻找被请求的数据
if (req.request != "GET" && req.request != "HEAD")
{
return (pipe);
}
elseif (req.url ~ "\.(cgi|php)($|\?)")
{
return (pass);
}
elseif (req.http.Authenticate || req.http.Authorization) {
return (pass);
}
return (lookup);
}
#如果请求的类型是PURGE方法，Varnishd会将此请求的缓存周期设置为0，也就是使这个URL的缓存失效，
#从而达到刷新Varnish缓存的目的
sub vcl_hit
{
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
if (!obj.cacheable)
{
return (pass);
}
if (obj.http.Vary)
{
unset obj.http.Vary;
}
}
sub vcl_miss
{
if (req.request == "PURGE") {
error 404 "Not in cache.";
}
}
#定义hash的值，并且处理压缩内容
sub vcl_hash {
set req.hash += req.url;
if (req.http.host) {
set req.hash += req.http.host;
} else {
set req.hash += server.ip;
}
if ( req.http.Accept-Encoding ){
if (req.url ~ "\.(jpg|jpeg|png|gif|rar|zip|gz|tgz|bz2|tbz|mp3|ogg|swf|exe|flv|avi|rmvb|rm|mpg|mpeg|pdf)$") {
} else {
set req.hash += req.http.Accept-Encoding;
}
}
return (hash);
}
sub vcl_fetch
{
if (!beresp.cacheable) {
return (pass);
}
if (beresp.http.Set-Cookie) {
return (pass);
}
#定义在什么状态下进入restart模式
if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504 || beresp.status == 404)
{
return (restart);
}
#下面定义不缓存含有哪些HTTP头的请求
if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private") {
return (pass);
}
#定义不同内容的缓存时间
if (req.request == "GET" && req.url ~ "\.(css|js|html|htm)$") {
set beresp.ttl = 300s;
}
if (req.request == "GET" && req.url ~ "\.(gif|jpg|jpeg|bmp|png|tiff|tif|ico|img|bmp|wmf)$") {
set beresp.ttl = 3600s;
}
if (req.request == "GET" && req.url ~ "\.(svg|swf|ico|mp3|mp4|m4a|wav|rmvb|avi|wmv)$") {
set beresp.ttl = 10d;
}
return (deliver);
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from www.ixdba.net";
} else {
set resp.http.X-Cache = "MISS from www.ixdba.net";
}
return (deliver);
}
