构建Nginx Cache高性能缓存系统

简介:

    随着Nginx web服务器得到越来越多的SA的青睐,Nginx的cache功能已经具备Squid所拥有的Web缓存加速功能、清除指定URL缓存的功能。

而在性能上,Nginx对多核CPU的利用,胜过Squid不少。另外,在反向代理、负载均衡、健康检查、后端服务器故障转移、Rewrite重写、易用性上,Nginx也比Squid强大得多。

这使得一台Nginx可以同时作为负载均衡服务器与Web缓存服务器来使用。

一、 Nginx(Ngx_cache)安装:

首先下载Nginx缓存模块,ngx_cache_purge相应版本,这里下载nginx-1.4版本,不同版本对应不同的Nginx版本,安装的时候要留心。

ulimit -SHn 65535

yum install pcre pcre-devel -y

wget http://nginx.org/download/nginx-1.0.11.tar.gz 

http://labs.frickle.com/files/ngx_cache_purge-1.4.tar.gz 

tarz xvf ngx_cache_purge-1.4.tar.gz

tarz xvf nginx-1.0.11.tar.gz

useradd www

cd nginx-1.0.11/

./configure  --user=www  --group=www  --add-module=../ngx_cache_purge-1.4--prefix=/usr/local/nginx  --with-http_stub_status_module  --with-http_ssl_module

make && make install

 

二、 Nginx Cache配置:

user www www;

worker_processes 8;

error_log /data/logs/nginx/error.log crit;

pid /usr/local/nginx/nginx.pid;

worker_rlimit_nofile 65535;

events

{

use epoll;

worker_connections 65535;

}

http

{

      include mime.types;

      default_type application/octet-stream;

      charset utf-8;

      server_names_hash_bucket_size 128;

      client_header_buffer_size 32k;

      large_client_header_buffers 4 32k;

      client_max_body_size 300m;

 

      sendfile on;

      tcp_nopush on;

      keepalive_timeout 60;

      tcp_nodelay on;

      client_body_buffer_size 512k;

 

      proxy_connect_timeout 5;

      proxy_read_timeout 60;

      proxy_send_timeout 5;

      proxy_buffer_size 16k;

      proxy_buffers 4 64k;

      proxy_busy_buffers_size 128k;

      proxy_temp_file_write_size 128k;

 

      gzip on;

      gzip_min_length 1k;

      gzip_buffers 4 16k;

      gzip_http_version 1.1;

      gzip_comp_level 2;

      gzip_types text/plainapplication/x-javascript text/css application/xml;

      gzip_vary on;

 

      proxy_temp_path /data/proxy_temp_dir;

      proxy_cache_path /data/proxy_cache_dirlevels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;

 

upstreambackend_server {

      server 127.0.0.1:8800 weight=1 max_fails=2 fail_timeout=30s;

      server 127.0.0.1:8801 weight=1 max_fails=2 fail_timeout=30s;

}

server

{

      listen 80;

      server_name localhost;

      index index.html index.htm;

      root /data/webapps/www;

      location /

      {

           proxy_next_upstream http_502 http_504 error timeout invalid_header;

           proxy_cache cache_one;

           proxy_cache_valid 200 304 12h;

           proxy_cache_key $host$uri$is_args$args;

           proxy_set_header Host $host;

           proxy_set_header X-Forwarded-For $remote_addr;

           proxy_pass http://backend_server;

           expires 1d;

      }

      location ~ /purge(/.*)

      {

           auth_basic "TDT  Center  CACHE  Center";

           auth_basic_user_file /tmp/htpasswd;

           allow 127.0.0.1;

           allow 192.168.1.0/24;

           deny all;

           proxy_cache_purge cache_one $host$1$is_args$args;

      }

 

      location ~ .*\.(php|jsp|cgi)?$

      {

           proxy_set_header Host $host;

           proxy_set_header X-Forwarded-For $remote_addr;

           proxy_pass http://backend_server;

      }

  }

}


三、Nginx Cache测试:

#启动Nginx服务,/usr/local/nginx/sbin/nginx

#访问我们的WEB站点,然后在/data/proxy_cache_dir目录会看到缓存的子目录(以数字、字母组成)

如下图:

111.jpg

四、如何清除缓存:

清除缓存有两种方法,第一种是直接通过nginx.conf配置文件定义的/purge虚拟目录去清除,第二种方法可以通过shell脚本去批量清除:

附上Shell脚本清空缓存的内容:

#! /bin/sh

#Auto Clean Nginx Cache Shell Scripts

#2013-06-12  wugk

#Define Path

CACHE_DIR=/data/www/proxy_cache_dir/

FILE="$*"

 

#To determine whether the input script,If not,then exit 判断脚本是否有输入,没有输入然后退出

if

  [  "$#" -eq "0" ];then

  echo "Please Insert clean Nginx cache File, Example: $0 index.html index.js"

  sleep 2 && exit

fi

  echo "The file : $FILE to be clean nginx Cache ,please waiting ....."

 

#Wrap processing for the input file, for grep lookup,对输入的文件进行换行处理,利于grep查找匹配相关内容

for i in `echo $FILE |sed 's//\n/g'`

do

   grep -ra  $i  ${CACHE_DIR}| awk -F':'   '{print $1}'  > /tmp/cache_list.txt

    for  j  in `cat/tmp/cache_list.txt`

  do

    rm  -rf  $j

    echo "$i  $j  is  Deleted Success !"

  done

done


本文转自 wgkgood 51CTO博客,原文链接:http://blog.51cto.com/wgkgood/1593564


相关文章
|
2月前
|
缓存 NoSQL 数据库
运用云数据库 Tair 构建缓存为应用提速,完成任务得苹果音响、充电套装等好礼!
本活动将带大家了解云数据库 Tair(兼容 Redis),通过体验构建缓存以提速应用,完成任务,即可领取罗马仕安卓充电套装,限量1000个,先到先得。邀请好友共同参与活动,还可赢取苹果 HomePod mini、小米蓝牙耳机等精美好礼!
|
2月前
|
存储 缓存 前端开发
利用 Webpack 5 的持久化缓存来提高构建效率
【10月更文挑战第23天】利用 Webpack 5 的持久化缓存是提高构建效率的有效手段。通过合理的配置和管理,我们可以充分发挥缓存的优势,为项目的构建和开发带来更大的便利和效率提升。你可以根据项目的实际情况,结合以上步骤和方法,进一步优化和完善利用持久化缓存的策略,以达到最佳的构建效果。同时,不断探索和实践新的方法和技术,以适应不断变化的前端开发环境和需求。
|
3月前
|
Kubernetes 监控 测试技术
k8s学习--基于Ingress-nginx实现灰度发布系统
k8s学习--基于Ingress-nginx实现灰度发布系统
158 2
k8s学习--基于Ingress-nginx实现灰度发布系统
|
3月前
|
存储 缓存 监控
|
3月前
|
存储 缓存 负载均衡
Nginx代理缓存机制
【10月更文挑战第2天】
121 4
|
3月前
|
存储 缓存 NoSQL
Nginx缓存
Nginx缓存
34 2
|
3月前
|
存储 缓存 NoSQL
构建高性能Web应用:缓存的重要性及其实现
构建高性能Web应用:缓存的重要性及其实现
|
5月前
|
Java 开发者 JavaScript
Struts 2 开发者的秘籍:隐藏的表单标签库功能,能否成为你下个项目的大杀器?
【8月更文挑战第31天】Struts 2表单标签库是提升Web页面交互体验的神器。它提供丰富的标签,如`<s:textfield>`和`<s:select>`,简化表单元素创建与管理,支持数据验证和动态选项展示。结合示例代码,如创建文本输入框并与Action类属性绑定,显著提升开发效率和用户体验。通过自定义按钮样式等功能,Struts 2表单标签库让开发者更专注于业务逻辑实现。
55 0
|
24天前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
167 85
|
3月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
89 6