Nginx 实战系列之二：Nginx 优化中在 Nginx 侧 和 Linux 系统侧必须要调整优化的参数详细和最佳推荐配置
Nginx 必须要调整优化的参数
Nginx Server 侧必须要调整的参数
Nginx 必须要调整的参数以及线上推荐的最优配置：
backlog=8192; worker_processes auto; worker_rlimit_nofile 10240; worker_connections 10240; tcp_nopush on; tcp_nodelay on; keepalive_timeout 300s; keepalive_requests 1000000;
建议其他调整的参数：
proxy_connect_timeout 60; proxy_send_timeout 60; proxy_read_timeout 60;
Linux 系统侧必须要调整的参数
网卡软中断绑定
Nginx 的机器，一般都是独立的机器，因此不建议采用默认 irqbalance 的自动绑定，而是要设置 smp_affinity、smp_affinity_list 的值来自动绑定。
非常关键的一点，就是不能重复绑定，网卡队列和 CPU 一定要一对一绑定，一般来说就是一个队列要绑定一个 CPU。对于万兆网卡，如果队列数超过了 CPU 核数，那么我们可以把网卡队列数调整为 CPU 核数，然后一对一绑定；一定要注意，通过 一个网卡队列需要并只能绑定到一个 CPU 上，不能绑定到多个 CPU 上，否则不会生效。
Linux nf_conntrack 参数
Linux nf_conntrack 是 Linux 网络相关的核心参数，sysctl 可以查看 conntrack 相关的所有数据：
sysctl -a | grep conntrack
- • 对应 Nginx 的机器 conntrack 一般需要设置 nf_conntrack_max 为 100-200w，而 nf_conntrack_buckets 为 1/4 或者 1/2 倍 nf_conntrack_max，防止桶太大导致性能影响。
- • 一般设置 nf_conntrack_tcp_timeout_time_wait 为 120，避免值过大从而维护的连接数太多而超过限制，超过连接数的上限后会丢包
- • 一般设置 hashsize 不能太大，避免在连接数过多时出现较多的 hash 冲突，一般设置为 2-5w 左右，
echo 20000 > /sys/module/nf_conntrack/parameters/hashsize
backlog 队列
- • net.core.somaxconn
- • 每一个端口最大的 Listen 监听队列的长度。如果这个设置太小从而导致了 Nginx 性能问题的话，我们可以查看内核日志发现这个状态。这个最终需要配合 Nginx listen 指令一起调整
- • tcp_max_syn_backlog
- • SYN（待完成连接）队列长度
- • net.core.netdev_max_backlog
- • 数据包在发送给 CPU 之前被网卡缓冲的速率；增加该值可以提高具有高带宽的机器的性能
Nginx 机器的推荐设置如下：
echo 32768 > /proc/sys/net/core/somaxconn echo 819200 > /proc/sys/net/ipv4/tcp_max_syn_backlog
fs 文件描述符
- • sys.fs.file-max
- • Linux 系统允许的最大文件描述数，值的大小主要和机器内存有关，一般 32G 内存以上的机器，一般推荐设置为 100w-300w。
- • nofile
- • 应用层面允许的最大文件描述符数，一般设置
/etc/security/limits.conf文件
port 端口
- • net.ipv4.ip_local_port_range
- • port 端口的范围[net.ipv4.ip_local_port_range=1024 65535]
- • 对压测端而言，如果是短链接
- • 表示开启 TCP 连接中 TIME-WAIT sockets 的快速回收，默认为0，表示关闭。压测 client 端需要开启。
- • 对应 Nginx server 端，这个 tcp_tw_recycle 则要设置为 0
- • 表示开启端口复用。允许将TIME-WAIT sockets重新用于新的 TCP接，默认为0，表示关闭；
- • net.ipv4.tcp_tw_reuse = 1
- • net.ipv4.tcp_tw_recycle = 1
