haproxy+keepalived+nginx+php-fpm

      手头有三台机器，领导要求做成高可用的网站，一台做数据库肯定是没错的，剩下两台机器只能做web了。

       原本打算用nginx+keepalived，keepalived做高可用没问题，一主一从，但是从机完全standby，资源有些浪费。于是想到了负载均衡集群。考虑到nginx又做负载均衡，又做web，怕管理上麻烦，负载均衡就用了haproxy做，并且haproxy的健康检查非常到位。而nginx的健康检查实际上是假的，应该较故障转移，因为一旦timeout过期了，流量仍然会分过去，发现不通后再进行故障转移，这会导致网页间歇性加载缓慢。

   本文做法的好处是，从服务器平时也能分担主服务器的流量，任何一个机器宕机，web服务都可以正常访问。

环境：CentOS6.4 x86_64

VIP          192.168.122.10

web01     192.168.122.11

web02     192.168.122.12

1、安装软件

1. yum install haproxy keepalived nginx php-fpm php-gd php-mysql php-xml php-cli -y   
2. chkconfig keepalived on  
3. chkconfig haproxy on  
4. chkconfig nginx on  
5. chkconfig php-fpm on  
6. chkconfig iptables off #防火墙暂时不配置 

2、系统和内核设置

1. sed -i ‘s/enforcing/disabled/g' /etc/sysconfig/selinux 

1. sysctl -w "net.ipv4.ip_nonlocal_bind = 1" 
2. echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf 

上面这个内核参数，可以允许服务器监听在一个不存在的地址上。

3、配置keepalived（主从配置略有不同）

配置主服务器web01

1. global_defs {  
2.    notification_email {  
3.      root@localhost  
4.    }  
5.    notification_email_from keepalived@localhost  
6.    smtp_server 127.0.0.1  
7.    smtp_connect_timeout 30  
8.    router_id web01  
9. }  
10.   
11. vrrp_instance VI_1 {  
12.     state MASTER  
13.     interface eth0  
14.     virtual_router_id 51  
15.     priority 100  
16.     advert_int 1  
17.     preempt   
18.     authentication {  
19.         auth_type PASS  
20.         auth_pass 1111  
21.     }  
22.     virtual_ipaddress {  
23.         192.168.122.10 label eth0:1  
24.     }  
25. }  

配置从服务器

1. global_defs {  
2.    notification_email {  
3.      root@localhost  
4.    }  
5.    notification_email_from keepalived02@localhost  
6.    smtp_server 127.0.0.1  
7.    smtp_connect_timeout 30  
8.    router_id web02  
9. }  
10.   
11. vrrp_instance VI_1 {  
12.     state BACKUP  
13.     interface eth0  
14.     virtual_router_id 51  
15.     priority 90  
16.     advert_int 1  
17.     #preempt   
18.     authentication {  
19.         auth_type PASS  
20.         auth_pass 1111  
21.     }  
22.     virtual_ipaddress {  
23.         192.168.122.10 label eth0:1  
24.     }  
25. }  

4、配置haproxy（主从服务器配置完全相同，监听地址192.168.122.10：80）

1. global  
2.     log         127.0.0.1 local2  
3.     chroot      /var/lib/haproxy  
4.     pidfile     /var/run/haproxy.pid  
5.     maxconn     4000  
6.     user        haproxy  
7.     group       haproxy  
8.     daemon  
9.   
10. defaults  
11.     mode                    http  
12.     log                     global  
13.     option                  httplog  
14.     option                  dontlognull  
15.     option http-server-close  
16.     option forwardfor       except 127.0.0.0/8  
17.     option                  redispatch  
18.     retries                 3  
19.     timeout http-request    10s  
20.     timeout queue           1m  
21.     timeout connect         10s  
22.     timeout client          1m  
23.     timeout server          1m  
24.     timeout http-keep-alive 10s  
25.     timeout check           10s  
26.     maxconn                 3000  
27.  
28. listen status 
29.     bind *:10086 
30.     stats uri /haproxy-status  
31.     stats auth admin：123456 
32.     stats hide-version 
33.   
34.   
35. frontend  haproxy-nlb   
36.     bind    192.168.122.10:80  
37.     default_backend             nginx-web  
38.   
39.   
40. backend nginx-web  
41.     option  httpchk HEAD /check.txt HTTP/1.0  
42.     balance roundrobin  
43.     server  web01 192.168.122.11:80 weight 3 check inter 5s rise 2 fall 3  
44.     server  web02 192.168.122.12:80 weight 3 check inter 5s rise 2 fall 3  

5、配置nginx（除了监听地址不同，其余全一样）

主服务器监听192.168.122.11：80

从服务器监听192.168.122.12：80

1. user  nginx; 
2. worker_processes  2; 
3. worker_rlimit_nofile 65535; 
4.  
5.  
6. error_log  /var/log/nginx/error.log warn; 
7. pid        /var/run/nginx.pid; 
8.  
9. google_perftools_profiles /tmp/tcmalloc; 
10.  
11. events { 
12.     use epoll; 
13.     worker_connections  2048; 
14. } 
15.  
16.  
17. http { 
18.     include       /etc/nginx/mime.types; 
19.     include       /etc/nginx/naxsi_core.rules; 
20.     default_type  application/octet-stream; 
21.  
22.     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
23.                       '$status $body_bytes_sent "$http_referer" ' 
24.                       '"$http_user_agent" "$http_x_forwarded_for"'; 
25.  
26.     #access_log  /var/log/nginx/access.log  main; 
27.  
28.     sendfile        on; 
29.     server_tokens   off; 
30.  
31.     #tcp_nopush     on; 
32.  
33.     keepalive_timeout  65; 
34.  
35.     gzip  on; 
36.     gzip_static on; 
37.     gzip_disable "msie6"; 
38.     gzip_http_version 1.1; 
39.     gzip_vary on; 
40.     gzip_comp_level 6; 
41.     gzip_proxied any; 
42.     gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript text/x$ 
43.     gzip_buffers 16 8k; 
44.  
45.     client_max_body_size 20m; 
46.     client_body_buffer_size 128k; 
47. server { 
48.     listen       192.168.122.11:8080; 
49.     server_name  localhost; 
50.     root        /usr/share/nginx/html; 
51.     index       index.html index.htm index.php; 
52.  
53.     #charset koi8-r; 
54.     access_log  /var/log/nginx/host.access.log  main; 
55.  
56.     location / { 
57.         include /etc/nginx/naxsi_conf ; 
58.  
59.         if (!-e $request_filename) { 
60.             rewrite ^/(.*)$ /index.php?q=$1 last; 
61.         } 
62.     } 
63.  
64.     #error_page  404              /404.html; 
65.  
66.     # redirect server error pages to the static page /50x.html 
67.     # 
68.     error_page   500 502 503 504  /50x.html; 
69.   
70.     # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000 
71.     # 
72.     location ~ \.php$ { 
73.         #try_files $uri = 404; 
74.         fastcgi_pass   127.0.0.1:9000; 
75.         #fastcgi_pass   unix:/var/run/php-fpm/php-fpm.sock; 
76.         fastcgi_index  index.php; 
77.         fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name; 
78.         fastcgi_buffer_size 128k; 
79.         fastcgi_buffers 256 16k; 
80.         fastcgi_busy_buffers_size 256k; 
81.         fastcgi_temp_file_write_size 256k; 
82.         fastcgi_read_timeout 240; 
83.         include        fastcgi_params; 
84.     } 
85.  
86.     if ($fastcgi_script_name ~ \..*\/.*php) { 
87.         return 403; 
88.     } 
89.  
90.     # deny access to hiden file . (filename begin with ".") 
91.     location ~ /\. { 
92.         access_log off; 
93.         log_not_found off;  
94.         deny all; 
95.     } 
96.  
97.     # deny access to bakup file .(any filename end with "~" ) 
98.     location ~ ~$ {  
99.         access_log off;  
100.         log_not_found off;  
101.         deny all;  
102.         } 
103.  
104.     # cache image file 
105.     location ~* \.(jpg|jpeg|gif|png|css|js|ico|xml|swf)$ { 
106.         expires           1d; 
107.     } 
108.  
109.     # don't log robots  and favion 
110.     location = /robots.txt { access_log off; log_not_found off; }  
111.     location = /favicon.ico { access_log off; log_not_found off; }  
112.  
113.     # deny access to .htaccess files, if Apache's document root 
114.     # concurs with nginx's one 
115.     # 
116.     location ~ /\.ht { 
117.         deny  all; 
118.     } 
119.  } 
120. } 

6、配置php-fpm

1. sed -i ‘s/apache/nginx/g’ /etc/php-fpm.d/www.conf 

7、其他

给web01加上检测页面

1. echo web01 >/usr/share/nginx/html/check.txt 

给web02加上检测页面

1. echo web02 >/usr/share/nginx/html/check.txt 

8、重启两台机器

9、验证

由于是轮询，我们很容易检测负载均衡（最好不要用浏览器，浏览器有缓存）

1. $ for n in {1..10};do curl http://192.168.122.10/check.txt;done 
2. web02 
3. web01 
4. web02 
5. web01 
6. web02 
7. web01 
8. web02 
9. web01 
10. web02 
11. web01 

OK，大功告成！