开发者社区> 行者武松> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

开启reuse_port让Tengine性能提升3倍

简介: 摘要: Tengine里有没有一种配置,加上去之后,性能就猛增?答案就是reuse_port!
+关注继续查看

为什么 reuse_port

  • 记得 2008 年做性能测试的时候,新进7台 lenovo 4核4G 服务器用于性能测试。
  • 当时资源紧张,这7台服务器都装了双系统(Win2003/CentOS5)空闲时用于做肉鸡(压测的Agent)。
  • 当时给Nginx做了一系列测试,印象很深的是:在这批机器上,Nginx状态页面的压测。
    短连接的话最佳QPS约4万,长连接的话最高QPS约13万。
  • 大概3年后,那批 lenovo 服务器已经没人瞧得上了,只能做肉鸡。
  • 然而,一次不经意的测试,发现再牛的服务器,短连接最佳QPS也高不了多少。
  • 而且,肉鸡的资源没用完,被测试服务器的资源也用不完,网络也没瓶颈。
    服务器资源使用率很低,然而响应就是不够快。
  • 最后,我们发现了 SO_REUSEPORT。对,瓶颈在这(监听的入口)!

引入 LVS fullnat

  • 当时用的 CentOS 5、6,内核版本都还在 2.6。
  • 尝试过新内核,遇到一些奇怪的现象无力维护,最终放弃。
  • 也可以用Nginx监控多个IP来突破瓶颈(多虚拟几个IP),维护成本略高。
  • 也可以用LVS的NAT方式来做转发,然而NAT对网络的要求你懂的。
  • 最终我们决定使用 淘宝LVS,依赖 淘宝内核。
  • 然后使用 fullnat ,将对外端口映射到每个节点的多个端口(而非多IP)。
  • 曾在线上做过极端测试,效果非常显著。然后我们就上线了!
    原本10多台服务器的压力,全压到1台服务器的10多个端口上。居然抗住了

压测 reuse_port

如果我用 Debian 最新 Jessie 发行版,默认内核 3.16.0-4。
然而 Tengine 早已支持 reuse_port (原生Nginx要到1.9.1才支持)。
开启 reuse_port 后,你会发现有很多进程同时监听80端口:

image

加压后你会发现,服务器性能可被你榨干:

image
image

对比一下测试 reuse_port 的效果,小伙伴们惊呆了(短连接QPS过了24万)!

image

真相大白后,你还等什么?

探个究竟

测试过程中由于压大 TCP: Possible SYN flooding on port 80. ,出大量错误 。
于是将并发量降到了6万 net.core.somaxconn = 65535 。
再关闭 reuse_port 后,我们看下 perf top的情况:

image

然后再打开 reuse_port ,对比 perf top 的情况:

image

此时再放大 Nginx 监听的 back_log ,看下资源使用情况:

image

我们来看看些时的队列情况(有入队过万了):

image

然后我们再来挑战30万并发(MTT是平均响应时间(ms)):

image

经过一系列调优,相同环境相同并发量,没有再出现 TCP: Possible SYN flooding on port 80.。但出现了少量连接超时的情况:
    2015-11-29 01:31:54,779 ERROR Connection timed out
    java.net.ConnectException: Connection timed out
     at HTTPClient.HTTPConnection$EstablishConnection.run(HTTPConnection.java:4082) ~[grinder-httpclient-3.9.1.jar:na]

测试环境

Dell PowerEdge M620
Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz
Linux 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt11-1+deb8u3 (2015-08-04) x86_64 GNU/Linux
Ethernet controller: Broadcom Corporation NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
Tengine version: Tengine/2.1.1 (nginx/1.6.2)
built by gcc 4.9.2 (Debian 4.9.2-10)
TLS SNI support enabled
configure arguments: --user=www-data --group=www-data --with-pcre-jit --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --dso-tool-path=/usr/sbin/dso_tool --dso-path=/usr/share/nginx/modules --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-syslog --with-jemalloc --with-mail --with-file-aio --with-mail_ssl_module --with-http_ssl_module --with-google_perftools_module --with-http_auth_request_module --with-http_dav_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module --with-http_spdy_module --with-http_stub_status_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module --with-http_image_filter_module --with-http_geoip_module --with-http_sub_module --with-http_flv_module --with-http_slice_module --with-http_mp4_module --with-http_concat_module --with-http_random_index_module --with-http_secure_link_module --with-http_sysguard_module --with-http_split_clients_module=shared --with-http_referer_module=shared --with-http_uwsgi_module=shared --with-http_scgi_module=shared --with-http_memcached_module=shared --with-http_limit_conn_module=shared --with-http_limit_req_module=shared --with-http_empty_gif_module=shared --with-http_browser_module=shared --with-http_user_agent_module=shared --with-http_upstream_ip_hash_module=shared --with-http_upstream_least_conn_module=shared --with-http_upstream_session_sticky_module=shared --with-http_reqstat_module=shared --with-http_lua_module --with-luajit-inc=/usr/include/luajit-2.0 --with-luajit-lib=/usr/lib/x86_64-linux-gnu --with-cpu-opt=amd64 --with-ld-opt=-Wl,-z,relro --with-cc-opt='-g -O2 -fstack-protector-strong -Wformat -Werror=format-security -D_FORTIFY_SOURCE=2' --add-module=../echo-nginx-module-0.58 --add-module=../headers-more-nginx-module-0.261 --add-module=../redis2-nginx-module-0.12 --add-module=../ngx_cache_purge-2.3 --add-module=../ngx_cache_path_status-1.0
loaded modules:
    ngx_core_module (static)
    ngx_errlog_module (static)
    ngx_conf_module (static)
    ngx_dso_module (static)
    ngx_syslog_module (static)
    ngx_events_module (static)
    ngx_event_core_module (static)
    ngx_epoll_module (static)
    ngx_procs_module (static)
    ngx_proc_core_module (static)
    ngx_openssl_module (static)
    ngx_regex_module (static)
    ngx_http_module (static)
    ngx_http_core_module (static)
    ngx_http_log_module (static)
    ngx_http_upstream_module (static)
    ngx_http_spdy_module (static)
    ngx_http_static_module (static)
    ngx_http_gzip_static_module (static)
    ngx_http_dav_module (static)
    ngx_http_autoindex_module (static)
    ngx_http_index_module (static)
    ngx_http_random_index_module (static)
    ngx_http_concat_module (static)
    ngx_http_upstream_ip_hash_module (shared, 3.1)
    ngx_http_upstream_least_conn_module (shared, 3.1)
    ngx_http_auth_request_module (static)
    ngx_http_auth_basic_module (static)
    ngx_http_limit_conn_module (shared, 3.1)
    ngx_http_access_module (static)
    ngx_http_limit_req_module (shared, 3.1)
    ngx_http_realip_module (static)
    ngx_http_geo_module (static)
    ngx_http_geoip_module (static)
    ngx_http_split_clients_module (shared, 3.1)
    ngx_http_map_module (static)
    ngx_http_reqstat_module (shared, 3.1)
    ngx_http_user_agent_module (shared, 3.1)
    ngx_http_referer_module (shared, 3.1)
    ngx_http_rewrite_module (static)
    ngx_http_ssl_module (static)
    ngx_http_proxy_module (static)
    ngx_http_uwsgi_module (shared, 3.1)
    ngx_http_fastcgi_module (static)
    ngx_http_scgi_module (shared, 3.1)
    ngx_http_empty_gif_module (shared, 3.1)
    ngx_http_memcached_module (shared, 3.1)
    ngx_http_browser_module (shared, 3.1)
    ngx_http_secure_link_module (static)
    ngx_http_sysguard_module (static)
    ngx_http_flv_module (static)
    ngx_http_slice_module (static)
    ngx_http_mp4_module (static)
    ngx_http_upstream_consistent_hash_module (static)
    ngx_http_upstream_check_module (static)
    ngx_http_upstream_keepalive_module (static)
    ngx_http_upstream_dynamic_module (static)
    ngx_http_stub_status_module (static)
    ngx_http_redis2_module (static)
    ngx_http_cache_purge_module (static)
    ngx_http_slowfs_module (static)
    ngx_cache_path_status_module (static)
    ngx_http_write_filter_module (static)
    ngx_http_header_filter_module (static)
    ngx_http_chunked_filter_module (static)
    ngx_http_spdy_filter_module (static)
    ngx_http_range_header_filter_module (static)
    ngx_http_gzip_filter_module (static)
    ngx_http_postpone_filter_module (static)
    ngx_http_ssi_filter_module (static)
    ngx_http_charset_filter_module (static)
    ngx_http_xslt_filter_module (static)
    ngx_http_image_filter_module (static)
    ngx_http_sub_filter_module (static)
    ngx_http_addition_filter_module (static)
    ngx_http_gunzip_filter_module (static)
    ngx_http_userid_filter_module (static)
    ngx_http_footer_filter_module (static)
    ngx_http_upstream_session_sticky_module (shared, 3.1)
    ngx_http_trim_filter_module (static)
    ngx_http_headers_filter_module (static)
    ngx_http_echo_module (static)
    ngx_http_headers_more_filter_module (static)
    ngx_http_lua_module (static)
    ngx_http_copy_filter_module (static)
    ngx_http_range_body_filter_module (static)
    ngx_http_not_modified_filter_module (static)
    ngx_mail_module (static)
    ngx_mail_core_module (static)
    ngx_mail_ssl_module (static)
    ngx_mail_pop3_module (static)
    ngx_mail_imap_module (static)
    ngx_mail_smtp_module (static)
    ngx_mail_auth_http_module (static)
    ngx_mail_proxy_module (static)
    ngx_google_perftools_module (static)
Nginx 配置如下:
    user www-data;
    worker_processes auto;
    pid /run/nginx.pid;
    events {
     use epoll;
     multi_accept off;
     reuse_port on;
     worker_connections  1048576;
    }
    dso { # 动态加载功能模块 /usr/share/nginx/modules
     load ngx_http_memcached_module.so;
     load ngx_http_limit_conn_module.so;
     load ngx_http_empty_gif_module.so;
     load ngx_http_scgi_module.so;
     load ngx_http_upstream_session_sticky_module.so;
     load ngx_http_user_agent_module.so;
     load ngx_http_referer_module.so;
     load ngx_http_upstream_least_conn_module.so;
     load ngx_http_uwsgi_module.so;
     load ngx_http_reqstat_module.so;
     load ngx_http_browser_module.so;
     load ngx_http_limit_req_module.so;
     load ngx_http_split_clients_module.so;
     load ngx_http_upstream_ip_hash_module.so;
    }
    http {
     include       /etc/nginx/mime.types;
     default_type  text/plain;
     access_log  off;
     sendfile        on;
     tcp_nopush    on;
     tcp_nodelay    on;
     server_tokens off; 
     keepalive_timeout  120;
     server_names_hash_bucket_size 512;
     server_name_in_redirect off;
     fastcgi_connect_timeout 3s;
     fastcgi_send_timeout 3s;
     fastcgi_read_timeout 3s;
     fastcgi_buffer_size 128k;
     fastcgi_buffers 8 128k;
     fastcgi_busy_buffers_size 256k;
     fastcgi_temp_file_write_size 256k;
     variables_hash_max_size  1024;
     set_real_ip_from 10.0.0.0/8;
     set_real_ip_from 172.28.0.0/16;
     set_real_ip_from 192.168.0.0/16;
     real_ip_header X-Forwarded-For;
     gzip off;
     gzip_disable "msie6";
     gzip_min_length 1k;
     gzip_buffers 16 64k;
     gzip_http_version 1.1;
     gzip_comp_level 6;
     gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
     gzip_vary on;
     ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
     ssl_prefer_server_ciphers on;
     access_log /var/log/nginx/access.log;
     error_log /var/log/nginx/error.log;
     server {
         listen       80 backlog=65535;
         charset utf-8;
         location / { # 打印Tengine状态页
             stub_status on; # 开启状态页,依赖 http_stub_status_module 模块
             access_log  off; #访问过程不记日志
         }
         location ~ ^(.*)\/\.(svn|git|hg|bzr|cvs)\/ { # 屏蔽这些目录
             deny all;
             access_log off;
             log_not_found off;
         }
         location ~ /\. { # 屏蔽.开头的目录或文件,比如  .htaccess .bash_history
             deny all;
             access_log off;
             log_not_found off;
         }
         location /do_not_delete.html {
             access_log off;
             empty_gif;
         }
     }
    }

文章转载自 开源中国社区[https://www.oschina.net]

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Tengine 详细安装与配置
Tengine和nginx差不多,方便实用
364 0
Tengine简单安装
跟NGINX一样,没有深入研究配置,因为暂时用不到。。:) 下载2.10,基于NGINX1.6.2的。 我的配置参数如下: ./configure --with-openssl=/root/tengine_pkg/openssl-1.
908 0
Nginx专栏—负载均衡的实现类型
搭建了负载均衡技术的服务器是大量的并发访问或数据流量的入口,它的任务就是将这些流量分担到多台节点设备上分别处理,从而增加吞吐量,减少系统响应时间。除了并发请求,负载均衡服务器还可以将单个复杂任务分配转发给后端多个节点处理,处理完再汇总返回给用户。
61 0
LSTM之父Jürgen Schmidhuber将加入KAUST,担任人工智能计划负责人
官宣了!Jürgen Schmidhuber 教授将于 2021 年 10 月 1 日加入 KAUST。
52 0
de.hybris.platform.impex.jalo.ImpExException: incompatible item reference values
de.hybris.platform.impex.jalo.ImpExException: incompatible item reference values
43 0
PCL的PNG文件和计算点云重心
PCL提供节约一点云的值为一个PNG图像文件的可能方案。显然,这只能用有序的点云来完成,因为生成的图像的行和列将与点云的对应完全一致。例如,如果你从一个传感器Kinect或Xtion的点云,你可以用这个来检索640x480 RGB图像匹配的点云。
1448 0
+关注
行者武松
杀人者,打虎武松也。
17111
文章
2569
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载