AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

nginx单机1w并发优化

2019-08-24 2304
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： nginx单机1w并发优化目录ab工具整体优化思路具体的优化思路编写脚本完成并发优化配置性能统计工具tips总结ab工具ab -c 10000 -n 200000 http://localhost/index.

nginx单机1w并发优化
目录
ab工具
整体优化思路
具体的优化思路
编写脚本完成并发优化配置
性能统计工具
tips
总结

ab工具
ab -c 10000 -n 200000 http://localhost/index.html

[root@study02 ~]# ab -c 10000 -n 100000 http://192.168.0.217/index.html
This is ApacheBench, Version 2.3 <$Revision: 1430300 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.0.217 (be patient)
socket: Too many open files (24)
整体优化思路
允许建立更多的socket连接
允许打开更多的文件
具体的优化思路
1、socket层面
系统层面
不做洪水抵御
最大连接数somaxconn
加快tcp连接回收 recyle
空的tcp连接是否允许回收利用reuse
nginx
每个子进程允许打开的连接(work_connections)
加快http连接，快速关闭,keepalive_timeout 0
2、文件层面
nginx层面
子进程允许打开的文件 worker_rlimit_nofile
系统层面
ulimit -n 10000(设置一个比较大的值,允许打开文件数)
具体的配置操作
1、系统配置
查看系统允许打开的最大连接数

more /proc/sys/net/core/somaxconn
echo 50000 > /proc/sys/net/core/somaxconn
打开系统快速连接回收

cat /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
打开空的tcp连接允许回收利用

cat /proc/sys/net/ipv4/tcp_tw_reuse
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
不做洪水抵御

cat /proc/sys/net/ipv4/tcp_syncookies
echo 0 > /proc/sys/net/ipv4/tcp_syncookies
2、nginx配置
http 1.0 client server 请求-应答-断开
http 1.1 防止频繁的握手,nginx设置keepalive_timeout参数是一个请求完成之后还要保持连接多久减少tcp的连接次数，在高并发的网站中，keepalived是一个需要严重注意的选项，需要将其设置为0不做保持连接提高并发
worker_rlimit_nofile 10000;
events {

worker_connections 10000;

}
keepalive_timeout 0;
编写脚本完成并发优化配置
echo 50000 > /proc/sys/net/core/somaxconn
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
echo 0 > /proc/sys/net/ipv4/tcp_syncookies
排除问题：

系统的dmesg观察
nginx的error.log来观察
dmesg|tail

性能统计工具
安装统计模块http_stub_status_module，便于观察nginx的状态

1.进入之前nginx的安装包目录，查找是否有统计模块可以安装
删选出所有可以安装的包

root@STUDY3 nginx-1.14.2]# cat auto/options |grep YES
HTTP=YES
HTTP_CACHE=YES
HTTP_CHARSET=YES
HTTP_GZIP=YES
HTTP_SSI=YES
HTTP_ACCESS=YES
HTTP_AUTH_BASIC=YES
HTTP_MIRROR=YES
HTTP_USERID=YES
HTTP_AUTOINDEX=YES
HTTP_GEO=YES
HTTP_MAP=YES
HTTP_SPLIT_CLIENTS=YES
HTTP_REFERER=YES
HTTP_REWRITE=YES
HTTP_PROXY=YES
HTTP_FASTCGI=YES
HTTP_UWSGI=YES
HTTP_SCGI=YES
HTTP_GRPC=YES
HTTP_MEMCACHED=YES
HTTP_LIMIT_CONN=YES
HTTP_LIMIT_REQ=YES
HTTP_EMPTY_GIF=YES
HTTP_BROWSER=YES
HTTP_UPSTREAM_HASH=YES
HTTP_UPSTREAM_IP_HASH=YES
HTTP_UPSTREAM_LEAST_CONN=YES
HTTP_UPSTREAM_KEEPALIVE=YES
HTTP_UPSTREAM_ZONE=YES
MAIL_POP3=YES
MAIL_IMAP=YES
MAIL_SMTP=YES
STREAM_LIMIT_CONN=YES
STREAM_ACCESS=YES
STREAM_GEO=YES
STREAM_MAP=YES
STREAM_SPLIT_CLIENTS=YES
STREAM_RETURN=YES
STREAM_UPSTREAM_HASH=YES
STREAM_UPSTREAM_LEAST_CONN=YES
STREAM_UPSTREAM_ZONE=YES
        --with-select_module)            EVENT_SELECT=YES           ;;
        --with-poll_module)              EVENT_POLL=YES             ;;
        --with-threads)                  USE_THREADS=YES            ;;
        --with-file-aio)                 NGX_FILE_AIO=YES           ;;
        --with-http_ssl_module)          HTTP_SSL=YES               ;;
        --with-http_v2_module)           HTTP_V2=YES                ;;
        --with-http_realip_module)       HTTP_REALIP=YES            ;;
        --with-http_addition_module)     HTTP_ADDITION=YES          ;;
        --with-http_xslt_module)         HTTP_XSLT=YES              ;;
        --with-http_image_filter_module) HTTP_IMAGE_FILTER=YES      ;;
        --with-http_geoip_module)        HTTP_GEOIP=YES             ;;
        --with-http_sub_module)          HTTP_SUB=YES               ;;
        --with-http_dav_module)          HTTP_DAV=YES               ;;
        --with-http_flv_module)          HTTP_FLV=YES               ;;
        --with-http_mp4_module)          HTTP_MP4=YES               ;;
        --with-http_gunzip_module)       HTTP_GUNZIP=YES            ;;
        --with-http_gzip_static_module)  HTTP_GZIP_STATIC=YES       ;;
        --with-http_auth_request_module) HTTP_AUTH_REQUEST=YES      ;;
        --with-http_random_index_module) HTTP_RANDOM_INDEX=YES      ;;
        --with-http_secure_link_module)  HTTP_SECURE_LINK=YES       ;;
        --with-http_degradation_module)  HTTP_DEGRADATION=YES       ;;
        --with-http_slice_module)        HTTP_SLICE=YES             ;;
        --with-http_perl_module)         HTTP_PERL=YES              ;;
        --with-http_stub_status_module)  HTTP_STUB_STATUS=YES       ;;
        --with-mail)                     MAIL=YES                   ;;
        --with-mail_ssl_module)          MAIL_SSL=YES               ;;
            MAIL=YES
            MAIL_SSL=YES
        --with-stream)                   STREAM=YES                 ;;
        --with-stream_ssl_module)        STREAM_SSL=YES             ;;
        --with-stream_realip_module)     STREAM_REALIP=YES          ;;
        --with-stream_geoip_module)      STREAM_GEOIP=YES           ;;
                                         STREAM_SSL_PREREAD=YES     ;;
        --with-google_perftools_module)  NGX_GOOGLE_PERFTOOLS=YES   ;;
        --with-cpp_test_module)          NGX_CPP_TEST=YES           ;;
        --with-compat)                   NGX_COMPAT=YES             ;;
        --with-debug)                    NGX_DEBUG=YES              ;;
        --with-pcre)                     USE_PCRE=YES               ;;
        --with-pcre-jit)                 PCRE_JIT=YES               ;;
        --with-libatomic)                NGX_LIBATOMIC=YES          ;;
        --test-build-devpoll)            NGX_TEST_BUILD_DEVPOLL=YES ;;
        --test-build-eventport)          NGX_TEST_BUILD_EVENTPORT=YES ;;
        --test-build-epoll)              NGX_TEST_BUILD_EPOLL=YES   ;;
        --test-build-solaris-sendfilev)  NGX_TEST_BUILD_SOLARIS_SENDFILEV=YES ;;

查看是否有http_stub_status_module模块

[root@STUDY3 nginx-1.14.2]# cat auto/options |grep YES|grep 'http_stub_status_module'

    --with-http_stub_status_module)  HTTP_STUB_STATUS=YES       ;;

make && make install
2.安装nginx的性能统计工具

./configure --prefix=/usr/local/nginx/ --with-http_stub_status_module

3.查看模块是否安装成功

[root@STUDY3 nginx-1.14.2]# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.14.2
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC)
configure arguments: --prefix=/usr/local/nginx/ --with-http_stub_status_module

说明模块已经安装成功了

4.在nginx的server配置项里面加入如下配置开启性能统计工具

location /nginx_status {
    stub_status on;
    access_log off;
    allow 127.0.0.1;
}

5.查看,刷新访问页面http://192.168.0.217/nginx_status查看状态
Active connections: 2020
server accepts handled requests
897553 897553 442986
Reading: 0 Writing: 1 Waiting: 2019
6.ab测试

[root@study02 ~]# ab -c 10000 -n 200000 http://192.168.0.217/index.html
This is ApacheBench, Version 2.3 <$Revision: 1430300 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.0.217 (be patient)
Completed 20000 requests
Completed 40000 requests
Completed 60000 requests
Completed 80000 requests
Completed 100000 requests
Completed 120000 requests
Completed 140000 requests
Completed 160000 requests
Completed 180000 requests
Completed 200000 requests
Finished 200000 requests

Server Software:        nginx/1.14.2
Server Hostname:        192.168.0.217
Server Port:            80

Document Path:          /index.html
Document Length:        612 bytes

Concurrency Level:      10000
Time taken for tests:   13.268 seconds
Complete requests:      200000
Failed requests:        345710
   (Connect: 0, Receive: 0, Length: 174517, Exceptions: 171193)
Write errors:           0
Non-2xx responses:      21
Total transferred:      24276700 bytes
HTML transferred:       17581305 bytes
Requests per second:    15074.19 [#/sec](mean)
Time per request:       663.386 [ms](mean)
Time per request:       0.066 [ms](mean, across all concurrent requests)
Transfer rate:          1786.87 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0  322  85.2    324    1238
Processing:    69  322 108.4    315     692
Waiting:        0   38 103.0      0     503
Total:        373  643  97.8    625    1651

Percentage of the requests served within a certain time (ms)
  50%    625
  66%    640
  75%    643
  80%    646
  90%    739
  95%    883
  98%    976
  99%   1015
 100%   1651 (longest request)

tips
测试机器也需要配置ulimit -n 一个较大的数字
测试机器需要配置echo 50000 > /proc/sys/net/core/somaxconn
总结
在做服务器部署的时候，首先必须要了解服务器的配置和服务器所能够处理的极限，最先测试的时候可以先从nginx的只跑html静态页面测试开始，不连数据库不做缓存，不做逻辑处理，不做cdn来测试nginx的最大能力。大家知道如果加入php，连接了数据库，做了数据库缓存做了图片cdn并发会有有影响，那之后的事情也是一样逐个调试压榨服务器的最大性能，有针对性的优化才是正确的。
原文地址https://www.cnblogs.com/lisqiong/p/11403928.html

文章标签：
应用服务中间件
nginx
网络协议
数据库
关键词：
Nginx优化
Nginx并发
Nginx并发优化
优惠券活动
目录
相关文章
游客cxtb2yf2r55as
|
2月前
|
缓存 前端开发 JavaScript
nginx的优化
nginx的优化
游客cxtb2yf2r55as
27 2
蓝易云
|
2月前
|
缓存 监控 负载均衡
nginx相关配置及高并发优化
Nginx的高并发优化是一个综合性的过程，需要根据具体的业务场景和硬件资源量身定制。以上配置只是基础，实际应用中还需根据服务器监控数据进行持续调整和优化。例如，利用工具如ab（Apache Benchmarks）进行压力测试，监控CPU、内存、网络和磁盘I/O等资源使用情况，确保配置的有效性和服务的稳定性。
蓝易云
124 0
toddli
|
4月前
|
负载均衡 应用服务中间件 网络安全
Django后端架构开发：Nginx服务优化实践
Django后端架构开发：Nginx服务优化实践
toddli
61 2
东方睿赢
|
4月前
|
缓存 前端开发 Java
"揭秘！SpringBoot携手Nginx，性能飙升秘籍大公开：轻松掌握配置优化，让你的应用快如闪电！"
【8月更文挑战第11天】随着微服务架构的发展，SpringBoot成为构建RESTful API的首选，Nginx则作为高性能的反向代理服务器提升应用性能。本文将探讨两者如何协同工作，包括Nginx的负载均衡策略、静态资源缓存及数据压缩配置；同时讨论SpringBoot的线程池优化、缓存策略及性能监控。通过这些方法，帮助开发者显著提高系统的整体性能和可用性。
东方睿赢
162 1
WCGhost-Netsafe
|
5月前
|
缓存 负载均衡 应用服务中间件
Nginx反向代理优化
教你如何做好Nginx反向代理优化
WCGhost-Netsafe
109 5
空白诗
|
6月前
|
监控 前端开发 应用服务中间件
前端开发者必备：Nginx入门实战宝典，从部署到优化一网打尽（2）
前端开发者必备：Nginx入门实战宝典，从部署到优化一网打尽
空白诗
87 1
空白诗
|
6月前
|
负载均衡 前端开发 应用服务中间件
前端开发者必备：Nginx入门实战宝典，从部署到优化一网打尽（1）
前端开发者必备：Nginx入门实战宝典，从部署到优化一网打尽
空白诗
183 1
1941623231718325
|
7月前
|
缓存 负载均衡 安全
深入探索Nginx高性能Web服务器配置与优化
【5月更文挑战第7天】本文深入探讨了Nginx的配置与优化，重点介绍了基础配置参数如`worker_processes`、`worker_connections`和`keepalive_timeout`，以及优化策略，包括使用epoll事件驱动模型、开启gzip压缩、启用缓存、负载均衡和安全配置。此外，还提到了性能调优工具，如ab、nginx-stats和nmon，以助于提升Nginx的性能和稳定性。
1941623231718325
218 3
jianz123
|
7月前
|
安全 应用服务中间件 Linux
高并发下Nginx优化（一）
【4月更文挑战第15天】高并发下Nginx优化
jianz123
135 0
李振良_阿良
|
7月前
|
运维 Java 应用服务中间件
Nginx+Tomcat动静分离及Nginx优化(企业案例)
Nginx+Tomcat动静分离及Nginx优化(企业案例)
李振良_阿良
38 0