Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(二)

简介: Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(二)

Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(一):https://developer.aliyun.com/article/1582107


4. 高级反向代理功能

4.1 URL重写和重定向

URL重写和重定向是Nginx反向代理中非常强大和常用的功能。它们允许我们修改请求的URL或将请求重定向到不同的位置,这在网站重构、SEO优化、维护向后兼容性等场景中非常有用。

Nginx主要通过rewrite指令来实现URL重写和重定向。rewrite指令的基本语法如下:

rewrite regex replacement [flag];

其中,regex是一个正则表达式,用于匹配URLreplacement是替换的新URLflag是可选的,用于指定重写后的行为。

让我们来看几个具体的例子:

  1. 简单的URL重写

假设我们想将所有对/home.html的请求重写为/index.html,可以使用以下配置:

location / {
    rewrite ^/home\.html$ /index.html last;
}

这里,^/home\.html$是一个正则表达式,精确匹配/home.htmllast标志表示重写后停止处理后续的重写规则。

  1. 带参数的URL重写

如果我们想将/user/123这样的URL重写为/index.php?user=123,可以这样配置:

location /user/ {
    rewrite ^/user/(.*)$ /index.php?user=$1 last;
}

在这个例子中,(.*)捕获了/user/后面的所有内容,然后通过$1在重写后的URL中引用这个捕获的内容。

  1. 永久重定向

有时我们需要将旧的URL永久重定向到新的URL,这可以通过permanent标志来实现:

location /old-url/ {
    rewrite ^/old-url/(.*) /new-url/$1 permanent;
}

这个配置会发送一个301(永久移动)状态码,告诉浏览器和搜索引擎这个URL已经永久移动到新位置。

  1. 条件重写

Nginx还允许我们基于特定条件进行重写。例如,我们可以根据请求的用户代理来决定是否重写URL

if ($http_user_agent ~* "Googlebot") {
    rewrite ^/(.*)$ /for-search-engines/$1 last;
}


这会将所有对/old-site/的请求永久重定向到new-site.com的相应路径。

在使用URL重写和重定向时,需要注意几点:

  • 首先,重写规则的顺序很重要。Nginx会按照配置文件中的顺序依次执行重写规则,直到遇到last标志或所有规则都已处理。
  • 其次,过于复杂的重写规则可能会影响性能。如果有大量的重写规则,应该考虑优化URL结构或使用其他方法来处理。
  • 最后,在实施重定向时,特别是永久重定向,要非常小心。错误的重定向可能会导致SEO问题或用户访问困难。在生产环境中应用之前,应该充分测试所有的重写和重定向规则。

通过合理使用URL重写和重定向,我们可以灵活地管理URL结构,优化用户体验,并在网站结构变化时保持向后兼容性。这使得Nginx不仅仅是一个高性能的Web服务器和反向代理,还成为了强大的URL管理工具。

4.2 请求/响应体修改

在Nginx反向代理中,有时我们需要修改请求或响应的内容。这可能是出于安全考虑、内容转换或者适配不同客户端的需求。Nginx提供了多种方法来实现请求和响应体的修改。


对于请求体的修改,Nginx主要通过ngx_http_proxy_module模块提供的指令来实现。其中最常用的是proxy_set_body指令。这个指令允许我们完全替换原始的请求体。例如,我们可以在将请求转发到上游服务器之前,添加一些额外的参数:

location /api/ {
    proxy_set_body '{"token": "secret_token", "data": "$request_body"}';
    proxy_pass http://backend;
}


在这个配置中,我们将原始的请求体封装在一个新的JSON对象中,并添加了一个token字段。这在需要为所有API请求添加认证信息时非常有用。

如果我们只需要对请求体进行部分修改,可以使用ngx_http_perl_module模块。这个模块允许我们使用Perl脚本来处理请求。例如:

location /api/ {
    perl_set $new_body '
        sub {
            my $r = shift;
            my $body;
            $r->request_body(\$body);
            $body =~ s/old_value/new_value/g;
            return $body;
        }
    ';
    proxy_set_body $new_body;
    proxy_pass http://backend;
}

这个配置使用Perl脚本将请求体中的所有old_value替换为new_value

对于响应体的修改,Nginx提供了sub_filter指令。这个指令允许我们在响应中搜索并替换特定的字符串。例如:

location / {
    proxy_pass http://backend;
    sub_filter 'href="http://example.com"' 'href="https://example.com"';
    sub_filter_once off;
}

这个配置将响应中所有的http://example.com链接替换为https://example.comsub_filter_once off指令确保替换会应用到所有匹配的地方,而不仅仅是第一次出现。

如果我们需要进行更复杂的响应体修改,可以使用第三方模块如

ngx_http_substitutions_filter_module。这个模块支持正则表达式替换:

location / {
    proxy_pass http://backend;
    subs_filter_types text/html text/css text/xml;
    subs_filter "http://example.com" "https://example.com" ir;
    subs_filter "(?<=<title>).*(?=</title>)" "New Title" ir;
}

在这个配置中,我们不仅替换了所有的http://example.comhttps://example.com,还使用正则表达式将所有的页面标题替换为"New Title"。


需要注意的是,修改请求和响应体可能会对性能产生影响,特别是在处理大型请求或响应时。因此,在实施这些修改时,应该仔细考虑其必要性和潜在的性能影响。


此外,修改请求和响应体可能会影响应用程序的行为。例如,如果我们修改了请求体中的关键参数,可能会导致后端服务器无法正确处理请求。同样,如果我们修改了响应体中的重要内容,可能会影响客户端的正常功能。因此,在进行任何修改之前,都应该进行充分的测试,确保修改不会破坏应用程序的正常运行。


4.3 缓存配置

缓存是提高Nginx反向代理性能的重要手段之一。通过合理配置缓存,我们可以显著减少对后端服务器的请求次数,从而降低服务器负载,提高响应速度。Nginx提供了强大的缓存功能,可以缓存静态文件、动态内容,甚至是代理响应。

要在Nginx中启用缓存,我们首先需要定义一个缓存区。这通常在http块中完成:

http {
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
}

在这个配置中,/path/to/cache是缓存文件存储的路径。levels参数定义了缓存文件的目录层级,这里使用两级目录结构。keys_zone定义了一个名为my_cache的共享内存区域,用于存储缓存键和元数据,大小为10MB。max_size限制了缓存的最大大小为10GB。inactive参数指定了项目在60分钟内未被访问就会被删除。use_temp_path=off禁用了临时文件的使用,这可以提高性能。

定义好缓存区后,我们可以在location块中启用缓存:

location / {
    proxy_cache my_cache;
    proxy_cache_valid 200 60m;
    proxy_cache_valid 404 10m;
    proxy_cache_use_stale error timeout http_500 http_502 http_503 http_504;
    proxy_cache_lock on;
    proxy_cache_key $request_uri;
    proxy_pass http://backend;
}


这个配置启用了名为my_cache的缓存。proxy_cache_valid指令定义了不同HTTP状态码的缓存时间:200响应缓存60分钟,404响应缓存10分钟。proxy_cache_use_stale允许在特定情况下使用过期的缓存内容,如后端服务器错误或超时。proxy_cache_lock确保对于同一资源,只有一个请求被发送到后端服务器。proxy_cache_key定义了缓存键,这里使用请求的URI。

有时,我们可能需要对某些请求不进行缓存。这可以通过proxy_cache_bypassproxy_no_cache指令来实现:

location / {
    proxy_cache my_cache;
    proxy_cache_bypass $http_cache_control;
    proxy_no_cache $http_pragma;
    proxy_pass http://backend;
}

在这个例子中,如果请求头中包含Cache-ControlNginx将绕过缓存直接请求后端服务器。如果请求头中包含PragmaNginx将不会缓存响应。

为了监控缓存的效果,我们可以添加add_header指令来在响应中包含缓存状态:

location / {
    proxy_cache my_cache;
    add_header X-Cache-Status $upstream_cache_status;
    proxy_pass http://backend;
}

这将在响应头中添加一个X-Cache-Status字段,其值可能是HIT、MISS、BYPASS等,表示不同的缓存状态。


在配置缓存时,我们需要注意几个重要的点:


首先,缓存策略应该根据具体的应用场景来制定。对于频繁变化的内容,应该设置较短的缓存时间或不缓存。对于相对静态的内容,可以设置较长的缓存时间。


其次,要注意缓存的一致性问题。当后端内容更新时,缓存中的内容可能会过时。可以考虑使用缓存清除技术或设置适当的缓存过期时间来解决这个问题。


再者,缓存可能会占用大量磁盘空间。应该根据服务器的资源情况合理设置缓存的大小限制。


最后,对于包含个人敏感信息的响应,应该谨慎使用缓存,以防信息泄露。可以使用proxy_cache_bypass或proxy_no_cache指令来避免缓存这类内容。


通过合理配置Nginx的缓存功能,我们可以显著提高反向代理的性能,减轻后端服务器的负载,提供更快的响应速度。然而,缓存配置需要根据具体的应用需求和资源情况进行细致的调整和优化,以达到最佳的效果。


4.4 压缩配置

在Nginx反向代理中,配置压缩是提高网站性能的重要手段之一。通过压缩响应内容,可以显著减少传输的数据量,从而加快页面加载速度,提升用户体验。Nginx提供了强大的压缩功能,主要通过gzip模块来实现。

要启用Nginx的压缩功能,我们需要在配置文件中添加相关指令。以下是一个基本的压缩配置示例:

http {
    gzip on;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
    gzip_comp_level 6;
    gzip_min_length 1000;
    gzip_proxied any;
}

在这个配置中,gzip on指令启用了gzip压缩。gzip_types指令指定了需要压缩的MIME类型。这里我们列出了常见的文本类型,包括纯文本、CSS、JSON、JavaScript和XML等。


gzip_comp_level指令设置压缩级别,范围从1(最快,压缩率最低)到9(最慢,压缩率最高)。级别6是一个比较好的平衡点,在大多数情况下能提供良好的压缩率而不会过度消耗CPU资源。


gzip_min_length指令设置了进行压缩的响应体最小大小。这里我们设置为1000字节,意味着小于1KB的响应不会被压缩。这是因为对非常小的响应进行压缩可能反而会增加总体大小。


gzip_proxied指令控制对代理请求的响应是否进行压缩。设置为any表示对所有代理请求的响应都进行压缩。

除了这些基本设置,我们还可以添加一些高级配置来进一步优化压缩效果:

http {
    gzip_vary on;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";
}

gzip_vary on指令会在响应头中添加"Vary: Accept-Encoding",这告诉缓存服务器分别缓存压缩和非压缩版本的响应。


gzip_buffers指令设置用于压缩响应的缓冲区数量和大小。这里我们设置了16个8KB的缓冲区。


gzip_http_version指令设置压缩的最低HTTP版本。设置为1.1是因为大多数现代浏览器都支持HTTP/1.1。


gzip_disable指令用于禁用特定浏览器的gzip压缩。这里我们禁用了旧版IE浏览器的压缩,因为它们对gzip的支持存在问题。


通过合理配置压缩,我们可以显著减少传输的数据量,提高网站的加载速度。然而,需要注意的是,压缩也会消耗服务器的CPU资源。因此,在配置压缩时需要权衡网络带宽和服务器CPU资源,找到最适合自己网站的配置。

4.5 超时和重试机制

Nginx反向代理配置中,合理设置超时和重试机制对于提高系统的可靠性和用户体验至关重要。超时设置可以防止请求长时间占用资源,而重试机制则可以在后端服务器暂时不可用时提供更好的容错能力。

首先,让我们来看看Nginx中与超时相关的几个重要指令:

http {
    proxy_connect_timeout 5s;
    proxy_send_timeout 60s;
    proxy_read_timeout 60s;
}

proxy_connect_timeout指令设置与后端服务器建立连接的超时时间。这里我们设置为5秒,意味着如果5秒内无法建立连接,Nginx将认为连接失败。


proxy_send_timeout指令设置向后端服务器发送请求的超时时间。这个时间是指两次成功的写操作之间的间隔时间,而不是整个发送操作的时间。


proxy_read_timeout指令设置从后端服务器读取响应的超时时间。这个时间是指两次成功的读操作之间的间隔时间,而不是整个读取操作的时间。

除了这些基本的超时设置,Nginx还提供了更细粒度的超时控制。例如,我们可以为特定的location块设置不同的超时时间:

location /api/ {
    proxy_connect_timeout 10s;
    proxy_send_timeout 120s;
    proxy_read_timeout 120s;
}

这个配置为/api/路径下的请求设置了更长的超时时间,这在处理可能需要较长时间的API请求时很有用。

接下来,让我们看看Nginx的重试机制。Nginx提供了几个指令来控制重试行为:

http {
    proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
    proxy_next_upstream_tries 3;
    proxy_next_upstream_timeout 10s;
}

proxy_next_upstream指令定义了在哪些情况下Nginx应该尝试使用下一个上游服务器。这里我们设置了在发生错误、超时、收到无效头部以及收到500、502、503、504状态码时进行重试。


proxy_next_upstream_tries指令限制了包括第一次尝试在内的总尝试次数。这里我们设置为3,意味着Nginx最多会尝试3次(包括第一次)。


proxy_next_upstream_timeout指令设置了进行重试的总时间限制。这里我们设置为10秒,意味着从第一次尝试开始,如果10秒内没有成功,Nginx就会停止重试。


在配置重试机制时,我们需要谨慎考虑。过于激进的重试可能会增加后端服务器的负载,特别是在后端服务器已经过载的情况下。另一方面,适度的重试可以提高系统的可用性,特别是在处理临时性故障时。

最后,值得一提的是,Nginx还提供了健康检查功能,可以主动检测后端服务器的状态。这可以与超时和重试机制结合使用,进一步提高系统的可靠性。例如:

upstream backend {
    server backend1.example.com:8080;
    server backend2.example.com:8080;
    check interval=3000 rise=2 fall=5 timeout=1000 type=http;
    check_http_send "HEAD / HTTP/1.0\r\n\r\n";
    check_http_expect_alive http_2xx http_3xx;
}

这个配置启用了对上游服务器的健康检查。Nginx会每3秒发送一次HTTP请求,如果连续2次成功就认为服务器是健康的,如果连续5次失败就认为服务器是不健康的。


通过合理配置超时和重试机制,再结合健康检查功能,我们可以构建一个更加健壮和可靠的反向代理系统。这不仅可以提高系统的可用性,还能在后端服务出现问题时提供更好的用户体验。


5. 反向代理优化

5.1 keepalive连接

在Nginx反向代理配置中,keepalive连接是一个非常重要的优化手段。它允许Nginx与上游服务器之间保持长连接,从而减少频繁建立和关闭连接所带来的开销。这对于处理大量短暂请求的应用尤其有效,可以显著提高性能和降低延迟。

Nginx提供了多个指令来配置和优化keepalive连接。首先,我们需要在upstream块中启用keepalive:

upstream backend {
    server backend1.example.com:8080;
    server backend2.example.com:8080;
    keepalive 32;
}

这里的keepalive 32指令告诉Nginx为每个工作进程保持最多32个空闲的keepalive连接。这个数值应该根据实际情况进行调整。如果设置得太低,可能无法充分利用keepalive的优势;如果设置得太高,则可能会占用过多的服务器资源。

启用keepalive后,我们还需要在location块中配置HTTP头部,以确保上游服务器知道这是一个keepalive连接:

location / {
    proxy_pass http://backend;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
}

这里,proxy_http_version 1.1指令将HTTP版本设置为1.1,因为keepalive是HTTP/1.1的特性。proxy_set_header Connection "" 则清除了Connection头部,这告诉上游服务器这个连接应该保持打开状态。


除了基本配置外,我们还可以通过其他指令来进一步优化keepalive连接:

keepalive_requests指令用于设置通过一个keepalive连接可以处理的最大请求数。默认值是100,但在高流量的场景中,可能需要增加这个值:

keepalive_requests 1000;

keepalive_timeout指令用于设置一个空闲的keepalive连接在关闭之前应该保持打开的时间。默认值是75秒,但可以根据实际需求进行调整:

keepalive_timeout 30s;

在使用keepalive连接时,还需要注意一些潜在的问题。例如,如果上游服务器的连接数限制较低,过多的keepalive连接可能会耗尽服务器的连接资源。因此,在配置keepalive时,需要同时考虑上游服务器的能力和限制。


此外,某些应用可能不完全兼容keepalive连接。例如,一些旧的CGI应用可能假设每个请求都使用新的连接。在这种情况下,可能需要在应用层面进行相应的调整。


5.2 缓冲和缓存优化

在Nginx反向代理配置中,缓冲和缓存优化是提高性能和减少后端服务器负载的重要手段。缓冲主要用于控制请求和响应的处理方式,而缓存则用于存储频繁访问的内容,以减少对后端服务器的请求。


缓冲优化主要涉及请求体和响应体的处理。对于请求体,Nginx提供了proxy_request_buffering指令。默认情况下,该指令是开启的,这意味着Nginx会先读取整个客户端请求体到缓冲区,然后再将其发送给上游服务器。这种方式可以提高与上游服务器的通信效率,但可能会增加客户端的等待时间。在某些情况下,特别是处理大文件上传时,我们可能希望立即开始向上游服务器传输数据。这时可以禁用请求体缓冲:

location /upload {
    proxy_request_buffering off;
    proxy_pass http://backend;
}

对于响应体,Nginx提供了更多的控制选项。proxy_buffering指令控制是否启用响应体缓冲。当启用时,Nginx会尽可能快地从上游服务器读取响应,然后根据自己的节奏发送给客户端。这可以减少上游服务器的负载,但可能会稍微增加客户端的等待时间。我们可以通过以下方式配置响应体缓冲:

location / {
    proxy_buffering on;
    proxy_buffer_size 4k;
    proxy_buffers 8 4k;
    proxy_busy_buffers_size 8k;
    proxy_pass http://backend;
}

在这个配置中,proxy_buffer_size设置了用于读取上游服务器响应头的缓冲区大小。proxy_buffers设置了用于读取上游服务器响应体的缓冲区数量和大小。proxy_busy_buffers_size设置了在响应未完全读取完时,Nginx可以向客户端发送的缓冲区大小。


除了缓冲,缓存也是一个强大的优化工具。Nginx的缓存可以显著减少对后端服务器的请求,特别是

对于频繁访问的静态内容。要启用缓存,首先需要定义一个缓存区:

http {
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
}

这个配置创建了一个名为"my_cache"的缓存区,大小为10MB,最大可以增长到10GB。levels参数定义了缓存文件的目录层次,inactive参数设置了缓存项的过期时间。

然后,我们可以在特定的location块中使用这个缓存:

location / {
    proxy_cache my_cache;
    proxy_cache_use_stale error timeout http_500 http_502 http_503 http_504;
    proxy_cache_valid 200 60m;
    proxy_cache_valid 404 10m;
    proxy_pass http://backend;
}

在这个配置中,proxy_cache指令启用了缓存。proxy_cache_use_stale指令允许在特定情况下使用过期的缓存内容,这可以提高系统的可用性。proxy_cache_valid指令设置了不同HTTP状态码的缓存时间。

为了进一步优化缓存性能,我们可以使用proxy_cache_lock指令来防止缓存失效时的"缓存风暴":

location / {
    proxy_cache my_cache;
    proxy_cache_lock on;
    proxy_cache_lock_timeout 5s;
    proxy_pass http://backend;
}

这个配置确保对于同一个资源,只有一个请求会被发送到上游服务器,其他请求会等待缓存更新完成。


通过合理配置缓冲和缓存,我们可以显著提高Nginx反向代理的性能,减少后端服务器的负载,提供更快的响应时间。然而,需要注意的是,缓存策略应该根据具体的应用需求来制定。对于频繁变化的动态内容,过度缓存可能会导致数据不一致的问题。因此,在实际应用中,需要仔细权衡缓存的利弊,并进行充分的测试和监控。


5.3 worker进程优化

在Nginx反向代理配置中,worker进程的优化是提高性能和资源利用率的关键因素之一。worker进程是Nginx处理请求的主要工作单元,因此对其进行适当的优化可以显著提升整体性能。

首先,我们需要关注worker进程的数量。Nginx提供了worker_processes指令来控制worker进程的数量。通常,将worker进程的数量设置为服务器CPU核心数是一个好的起点。这可以通过以下配置实现:

worker_processes auto;

使用"auto"值,Nginx会自动检测CPU核心数并设置相应数量的worker进程。对于大多数情况,这是一个合理的选择。然而,在某些特殊场景下,可能需要手动调整这个值。例如,如果服务器还运行其他CPU密集型应用,可能需要减少Nginx的worker进程数量。


接下来,我们可以优化worker进程的绑定。通过将worker进程绑定到特定的CPU核心,可以提高CPU

缓存的利用率,减少上下文切换,从而提高性能。这可以通过worker_cpu_affinity指令来实现:

worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;

在这个例子中,我们创建了4个worker进程,并将它们分别绑定到4个不同的CPU核心上。

另一个重要的优化点是worker进程的优先级。通过调整worker进程的优先级,我们可以确保Nginx在系统资源竞争时获得适当的优先级。这可以通过worker_priority指令来设置:

worker_priority -5;

这里我们将worker进程的优先级设置为-5,这比默认值0更高。需要注意的是,设置过高的优先级可能会影响系统中其他重要进程的运行,因此应谨慎使用。

worker进程的连接数也是一个需要优化的重要参数。worker_connections指令控制每个worker进程可以同时打开的最大连接数:

events {
    worker_connections 1024;
}

这个值应该根据服务器的内存大小和预期的并发连接数来设置。设置过高可能会导致内存不足,而设置过低则可能无法充分利用服务器资源。

为了进一步提高性能,我们可以启用worker进程的异步I/O。这可以通过在"events"块中使用use指令来实现:

events {
    use epoll;
}


在Linux系统上,“epoll"通常是最高效的选项。对于FreeBSD系统,可以使用"kqueue”。


最后,我们可以通过调整worker进程的工作方式来优化性能。例如,worker_aio_requests指令可以控制单个worker进程可以同时处理的异步I/O操作数:

worker_aio_requests 32;

这个值应该根据实际的I/O负载来调整。设置过高可能会导致资源耗尽,而设置过低则可能无法充分利用异步I/O的优势。


通过以上这些优化措施,我们可以显著提高Nginxworker进程的效率和性能。然而,需要注意的是,这些优化并非"一刀切"的解决方案。每个应用场景都有其特殊性,因此在实际应用中,应该根据具体情况进行调整和测试。同时,也要注意监控系统资源的使用情况,确保优化措施不会对系统的其他部分造成负面影响。


需要指出的是,worker进程的优化是一个需要持续关注和调整的过程。随着业务的发展和负载的变化,可能需要不断调整这些参数以保持最佳性能。因此,建立一个良好的监控和调优机制是至关重要的。


5.4 开启gzip压缩

在Nginx反向代理配置中,开启gzip压缩是一种非常有效的优化手段。gzip压缩可以显著减少传输数据的大小,从而加快网页加载速度,减少带宽使用,提升用户体验。

要在Nginx中启用gzip压缩,我们需要在配置文件中添加相关指令。通常,这些指令会放在http块中,这样可以对所有虚拟主机生效。以下是一个基本的gzip配置示例:

http {
    gzip on;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
}

在这个配置中,gzip on指令启用了gzip压缩。gzip_types指令指定了需要压缩的MIME类型。默认情况下,Nginx只会压缩text/html类型的响应,因此我们需要明确指定其他需要压缩的类型。

除了基本配置,我们还可以通过其他指令来进一步优化gzip压缩:

gzip_comp_level指令用于设置压缩级别。它的值范围是1到9,其中1表示最低压缩比,9表示最高压缩比。压缩级别越高,压缩效果越好,但也会消耗更多的CPU资源。通常,将其设置为4到6之间是一个较好的平衡:

gzip_comp_level 6;

gzip_min_length指令用于设置需要压缩的响应体的最小大小。对于非常小的响应,压缩可能反而会增加总体大小。通常将其设置为1000字节左右是一个不错的选择:

gzip_min_length 1000;

gzip_proxied指令控制对代理请求的响应是否启用压缩。这在Nginx作为反向代理时特别有用。我们可以设置为"any",这样Nginx会压缩所有代理请求的响应:

gzip_proxied any;

gzip_vary指令告诉Nginx在启用gzip压缩时,是否在响应头中添加"Vary: Accept-Encoding"。这有助于缓存服务器根据客户端的接受编码来提供正确的内容:

gzip_vary on;

gzip_buffers指令用于设置用于压缩响应的缓冲区数量和大小。默认值通常就足够了,但在某些情况下可能需要调整:

gzip_buffers 16 8k;

gzip_disable指令允许我们对特定的用户代理禁用gzip压缩。这在处理一些已知有问题的浏览器时很有用:

gzip_disable "MSIE [1-6]\.";

将这些配置组合起来,一个较为完整的gzip配置可能如下所示:

http {
    gzip on;
    gzip_comp_level 6;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_vary on;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
    gzip_buffers 16 8k;
    gzip_disable "MSIE [1-6]\.";
}

需要注意的是,虽然gzip压缩可以显著减少传输数据的大小,但它也会增加服务器的CPU负载。在大多数情况下,这种权衡是值得的,因为带宽通常比CPU资源更为宝贵。然而,如果你的服务器CPU已经处于高负载状态,可能需要谨慎考虑是否启用gzip压缩或调低压缩级别。


此外,对于已经是压缩格式的文件(如jpg、png、gif等图片文件),不应该再进行gzip压缩,因为这不仅不会减小文件大小,反而可能增加CPU负载。


最后,在启用gzip压缩后,务必进行充分的测试,确保所有内容都能正确地传输和显示。某些旧版浏览器可能不支持某些压缩方式,因此可能需要为这些浏览器提供未压缩的内容。


通过合理配置gzip压缩,我们可以显著提高Nginx反向代理的性能,为用户提供更快的访问速度,同时也能降低服务器的带宽使用。这是一种简单但非常有效的优化手段,在大多数Web应用中都值得采用。


6. 安全性考虑

6.1 隐藏后端服务器信息

在Nginx反向代理配置中,隐藏后端服务器信息是一个重要的安全措施。这不仅可以防止潜在攻击者获取有关后端系统的敏感信息,还可以为整个系统提供一个统一的对外表现。

首先,我们需要隐藏Nginx自身的版本信息。这可以通过在http块中添加以下指令来实现:

http {
    server_tokens off;
}

server_tokens off指令会禁止Nginx在错误页面和HTTP响应头中显示版本号。这可以防止攻击者利用特定版本的已知漏洞进行攻击。


接下来,我们需要隐藏或修改后端服务器在响应中可能暴露的信息。这主要涉及到HTTP响应头的处理。我们可以使用proxy_hide_header指令来删除某些响应头,使用proxy_set_header指令来修改或

添加响应头。例如:

location / {
    proxy_hide_header X-Powered-By;
    proxy_hide_header Server;
    proxy_set_header Server MyServer;
    proxy_pass http://backend;
}

在这个配置中,我们隐藏了X-Powered-ByServer头,这两个头通常会暴露后端服务器的信息。同时,我们设置了一个自定义的Server头,进一步混淆了真实的服务器信息。

有时,后端服务器可能会在响应体中包含一些敏感信息。在这种情况下,我们可以使用Nginx

sub_filter模块来替换响应体中的特定内容。例如:

location / {
    sub_filter 'Backend-Server' 'MyServer';
    sub_filter_once off;
    proxy_pass http://backend;
}

这个配置会将响应体中所有的"Backend-Server"字符串替换为"MyServer"。sub_filter_once off指令确保替换会应用到整个响应体,而不仅仅是第一次出现的地方。


最后,为了进一步增强安全性,我们可以配置自定义的错误页面。这可以防止在发生错误时暴露后端服务器的信息:

server {
    error_page 500 502 503 504 /custom_50x.html;
    location = /custom_50x.html {
        root /usr/share/nginx/html;
        internal;
    }
}

这个配置为常见的服务器错误(500、502、503、504)设置了一个自定义的错误页面。internal指令确保这个错误页面只能通过内部重定向访问,不能直接从外部访问。


通过以上这些措施,我们可以有效地隐藏后端服务器的信息,增强系统的安全性。然而,需要注意的是,这些措施并不能提供绝对的安全保障。它们应该作为更广泛的安全策略的一部分,配合其他安全措施如防火墙、入侵检测系统等一起使用。


6.2 限制请求率和连接数

在Nginx反向代理配置中,限制请求率和连接数是防止DDoS攻击和资源滥用的重要手段。Nginx提供了多种方法来实现这种限制,其中最常用的是limit_req模块和limit_conn模块。

首先,让我们看看如何限制请求率。Nginxlimit_req模块使用"漏桶"算法来限制请求率。我们首先需要定义一个限制区域:

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
}

这个配置创建了一个名为"one"的限制区域,使用$binary_remote_addr作为键(即基于客户端IP地址进行限制),分配了10MB的内存来存储状态,并设置了每秒1个请求的限制率。

然后,我们可以在server块或location块中应用这个限制:

server {
    location / {
        limit_req zone=one burst=5;
        proxy_pass http://backend;
    }
}

burst=5参数允许在超过设定速率时,最多允许5个请求排队。这可以帮助处理突发流量。

如果我们想要更宽松一点,可以使用nodelay参数:

limit_req zone=one burst=5 nodelay;

nodelay参数允许超出频率的请求立即被处理,而不是排队等待。

接下来,让我们看看如何限制连接数。这可以通过limit_conn模块来实现。首先,我们需要定义一个限制区域:

http {
    limit_conn_zone $binary_remote_addr zone=addr:10m;
}

这个配置创建了一个名为"addr"的限制区域,同样使用客户端IP地址作为键,并分配了10MB的内存。

然后,我们可以在server块或location块中应用这个限制:

server {
    location / {
        limit_conn addr 10;
        proxy_pass http://backend;
    }
}

这个配置限制每个IP地址最多同时打开10个连接。

我们还可以限制整个虚拟服务器的连接数:

http {
    limit_conn_zone $server_name zone=servers:10m;
}

server {
    limit_conn servers 1000;
}

这个配置限制每个虚拟服务器最多同时打开1000个连接。

为了使限制更加灵活,我们可以结合使用请求率限制和连接数限制:

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
    limit_conn_zone $binary_remote_addr zone=addr:10m;
}

server {
    location / {
        limit_req zone=one burst=5 nodelay;
        limit_conn addr 10;
        proxy_pass http://backend;
    }
}

这个配置既限制了请求率,又限制了连接数,可以更有效地防止资源滥用。

最后,我们可以自定义当达到限制时的错误响应:

limit_req_status 429;
limit_conn_status 429;

这里我们将超出限制时的响应状态码设置为429(Too Many Requests),这是一个更适合这种情况的HTTP状态码。


通过合理配置请求率和连接数限制,我们可以有效地保护后端服务器免受过载和潜在的DDoS攻击。然而,需要注意的是,这些限制应该根据实际的应用需求和服务器能力来设置。设置得过于严格可能会影响正常用户的访问,而设置得过于宽松则可能无法起到保护作用。因此,在实际应用中,需要经过充分的测试和监控,并根据实际情况不断调整这些参数。


6.3 IP白名单/黑名单

在Nginx反向代理配置中,IP白名单和黑名单是一种有效的访问控制方法。它们可以帮助我们限制或允许特定IP地址或IP地址范围的访问,从而提高系统的安全性。


Nginx提供了多种方法来实现IP白名单和黑名单。最常用的方法是使用allow和deny指令。这些指令可以在http、server或location块中使用,具体取决于你想要应用的范围。

首先,让我们看看如何实现一个简单的IP白名单:

location / {
    allow 192.168.1.0/24;
    allow 10.0.0.0/8;
    deny all;
    proxy_pass http://backend;
}


在这个配置中,我们允许来自192.168.1.0/2410.0.0.0/8网段的所有IP地址访问,而拒绝其他所有IP地址。deny all指令应该放在最后,作为一个默认规则。

相反,如果我们想实现一个黑名单,可以这样配置:

location / {
    deny 192.168.1.1;
    deny 10.0.0.0/8;
    allow all;
    proxy_pass http://backend;
}

这个配置会阻止来自192.168.1.110.0.0.0/8网段的所有访问,而允许其他所有IP地址。

对于更复杂的场景,我们可以使用Nginxgeo模块来创建更灵活的IP地址列表。例如:

geo $whitelist {
    default 0;
    192.168.1.0/24 1;
    10.0.0.0/8 1;
}

server {
    location / {
        if ($whitelist = 0) {
            return 403;
        }
        proxy_pass http://backend;
    }
}

在这个配置中,我们创建了一个名为$whitelist的变量,对于白名单中的IP地址,这个变量的值为1,否则为0。然后我们在location块中使用一个if语句来检查这个变量,如果不在白名单中,就返回403 Forbidden错误。


对于需要频繁更新的IP列表,我们可以将IP地址存储在一个单独的文件中,然后在Nginx配置中引用

这个文件:

include /etc/nginx/ip_whitelist.conf;

server {
    location / {
        if ($whitelist = 0) {
            return 403;
        }
        proxy_pass http://backend;
    }
}

其中,/etc/nginx/ip_whitelist.conf文件的内容可能如下:

geo $whitelist {
    default 0;
    include /etc/nginx/ip_whitelist.txt;
}

/etc/nginx/ip_whitelist.txt文件则包含实际的IP地址列表:

192.168.1.0/24 1;
10.0.0.0/8 1;

这种方法使得更新IP列表变得更加简单,无需重新加载Nginx配置。


需要注意的是,虽然IP白名单和黑名单可以提供一定程度的安全保护,但它们并不是万无一失的。攻击者可能会伪造IP地址,或者通过代理服务器来绕过这些限制。因此,IP白名单和黑名单应该作为更广泛的安全策略的一部分,而不是唯一的防御手段。


此外,在实施IP白名单和黑名单时,需要特别小心,确保不会意外地阻止合法用户的访问。建议在生产环境中应用之前,先在测试环境中充分测试这些规则。同时,也应该建立一个机制来监控这些规则的效果,以便及时发现和解决潜在的问题。


6.4 配置SSL/TLS安全

在当今的互联网环境中,配置SSL/TLS安全已经成为Nginx反向代理中不可或缺的一部分。SSL/TLS不仅可以加密客户端和服务器之间的通信,还可以验证服务器的身份,从而提供更高级别的安全保护。


首先,我们需要获取一个SSL/TLS证书。可以从证书颁发机构(CA)购买证书,也可以使用免费的Let’s Encrypt服务。获取证书后,我们需要在Nginx配置文件中添加相关的指令。


以下是一个基本的SSL/TLS配置示例:

server {
    listen 443 ssl;
    server_name example.com;

    ssl_certificate /path/to/your/certificate.crt;
    ssl_certificate_key /path/to/your/private.key;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers HIGH:!aNULL:!MD5;

    location / {
        proxy_pass http://backend;
    }
}

在这个配置中,ssl_certificate和ssl_certificate_key指令分别指定了证书文件和私钥文件的路径。ssl_protocols指令限制了可以使用的SSL/TLS协议版本,这里我们只允许TLSv1.2和TLSv1.3,因为早期版本存在安全。ssl_ciphers指令定义了允许的加密算法。

为了进一步增强安全性,我们可以添加更多的SSL/TLS相关配置:

server {
    listen 443 ssl;
    server_name example.com;

    ssl_certificate /path/to/your/certificate.crt;
    ssl_certificate_key /path/to/your/private.key;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_prefer_server_ciphers on;
    ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;

    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;

    ssl_stapling on;
    ssl_stapling_verify on;

    add_header Strict-Transport-Security "max-age=31536000" always;

    location / {
        proxy_pass http://backend;
    }
}

在这个增强的配置中,我们添加了几个重要的安全特性:


ssl_prefer_server_ciphers on指令告诉Nginx在SSL/TLS握手时优先使用服务器的密码套件。


我们使用了更详细的ssl_ciphers指令,指定了一系列强加密算法,按优先级排序。


ssl_session_cache和ssl_session_timeout指令配置了SSL会话缓存,可以提高HTTPS连接的性能。


ssl_stapling和ssl_stapling_verify启用了OCSP装订,这可以加快SSL握手过程。


最后,我们添加了Strict-Transport-Security头部,这告诉浏览器在指定的时间内(这里是一年)只使用HTTPS连接访问该网站。

除了服务器端的配置,我们还应该考虑将所有HTTP流量重定向到HTTPS。这可以通过添加另一个server块来实现:

server {
    listen 80;
    server_name example.com;
    return 301 https://$server_name$request_uri;
}

这个配置会将所有到80端口(HTTP)的请求永久重定向(状态码301)到相应的HTTPS地址。


在配置SSL/TLS时,我们还需要注意几个重要的安全实践:


定期更新证书:SSL证书通常有有效期,需要在过期前更新。使用自动化工具如Certbot可以简化这个过程。


使用强密钥:对于RSA密钥,建议使用至少2048位的密钥长度。对于ECDSA密钥,建议使用P-256曲线或更强的曲线。

配置Diffie-Hellman参数:如果使用DHE密码套件,应该生成并配置自定义的DH参数:

ssl_dhparam /path/to/dhparam.pem;

可以使用以下命令生成DH参数文件:

openssl dhparam -out /path/to/dhparam.pem 2048

定期检查和更新SSL/TLS配置:随着新的安全漏洞被发现和新的最佳实践的出现,应该定期审查和更新SSL/TLS配置。可以使用在线工具如SSL Labs的SSL Server Test来检查配置的安全性。


通过正确配置SSL/TLS,Nginx可以为后端服务器提供强大的安全保护,确保数据在传输过程中的机密性和完整性。这不仅可以保护用户的敏感信息,还可以提高网站在搜索引擎中的排名,因为许多搜索引擎现在更青睐使用HTTPS的网站。然而,需要注意的是,SSL/TLS配置是一个持续的过程,需要定期检查和更新,以应对不断变化的安全威胁和最佳实践。

Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(三):https://developer.aliyun.com/article/1582110

目录
相关文章
|
2月前
|
负载均衡 网络协议 Unix
Nginx七层(应用层)反向代理:SCGI代理scgi_pass篇
Nginx七层(应用层)反向代理:SCGI代理scgi_pass篇
57 1
|
1月前
|
前端开发 JavaScript
node反向代理,解决跨域(http-proxy-middleware)
使用node.js和http-proxy-middleware库实现反向代理,解决跨域问题,允许前端请求通过代理访问不同端口的服务。
54 3
|
2月前
|
缓存 应用服务中间件 API
Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(三)
Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(三)
37 3
|
2月前
|
网络协议 Unix 应用服务中间件
Nginx七层(应用层)反向代理:UWSGI代理uwsgi_pass篇
Nginx七层(应用层)反向代理:UWSGI代理uwsgi_pass篇
127 1
|
Web App开发 前端开发 Apache
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
修改的ranger ui的admin用户登录密码时,需要在ranger的配置里把admin_password改成一样的,否则hdfs的namenode在使用admin时启动不起来,异常如下: Traceback (mos...
1064 0
|
Web App开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
TCP洪水攻击(SYN Flood)的诊断和处理 Posted by  海涛  on 2013 年 7 月 11 日 Tweet1 ​1. SYN Flood介绍 前段时间网站被攻击多次,其中最猛烈的就是TCP洪水攻击,即SYN Flood。
992 0
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
ZooKeeper 保证了数据的强一致性,  zk集群中任意节点(一个zkServer)上的相同znode下的数据一定是相同的。
796 0
|
Web App开发 存储 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
做大做强事实表,做小做弱维表; 分布式模式-维度建模新原则  (1)以值代键:针对键值唯一的维表,除非必要,否则不引入维表,如IP地址维表,采用IP作为维表的主键,事实表中存储IP值;      (2)合理分表:传统关系型数据仓库存在多表整合的冲动,如上图Event事实表,各种Acount Ind,Finance Ind等,用来扩展表的通用性,试图把所有的数据都存储到一张表 中。
782 0
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.
734 0
|
Web App开发 前端开发 算法
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
大数据风控指标介绍 2016-03-24 大林 1查准率与查全率 先说个例子,申请人有400个,其中有160个是好人,240个是坏人。
691 0

热门文章

最新文章