安全运维-Nginx服务器就该这么玩~

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
日志服务 SLS,月写入数据量 50GB 1个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 安全运维-Nginx服务器就该这么玩~

认识Nginx

Nginx简介

Nginx (发音Engine-x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务,代码完全用C语言写成,已经移植到许多体系结构和操作系统。在连接高并发的情况下,Nginx是Apache服务不错的替代品。

官网的Title是Advancced Load Balancer, Web Server, & Reverse Proxy。 也就是说主打负载均衡、Web服务器和反向代理

Nginx的功能

正向代理&&反向代理

正向代理:Nginx作为客户端。我们平时使用的"科学上网"软件就是一种正向代理,你的电脑不能访问外网,就由代理替你访问后回传。

反向代理:Nginx作为服务端。客户端对于代理是无感的。只需要将请求发送到反向代理服务器,由反向代理服务器去选择目标服务器获取数据后,再返回给客户端,此时反向代理服务器和目标服务器对外就是一个服务器,暴露的是代理服务器地址,隐藏了真实服务器 IP 地址。

动静分离

为了加快网站的解析速度,可以把动态页面和静态页面由不同的服务器来解析,加快解析速度,降低原来单个服务器的压力。

负载均衡

负载均衡一般通过轮询,加权轮询,ip hash三种方式。

轮询如图左所示,第1个请求给服务器1,第2个请求给服务器2,第3个请求给服务器3。当请求数量与服务器数量一致时达到最佳的均衡状态。

加权轮询如图右所示,根据权重去轮询,权重大的分配更多请求。可以根据服务器的CPU、内存等来设计权重。

IP Hash算法,对客户端请求的IP进行hash操作,然后根据hash结果将同一个客户端IP的请求分发给同一台服务器进行处理,可以解决session不共享的问题。之前文章说过cookie是存在客户端(如,浏览器)的,session是存在服务器的。

Nginx的安装

Linux

官方文档:Linux Packages

博主这里就不做了,编译出错什么的还要解决,比较麻烦,博主采用了下面的方法学习。

Docker

镜像下载

docker pull nginx

查看镜像

docker images

可以看到结果:

nginx                                latest    12766a6745ee   4 days ago      142MB

就说明下载成功了

使用命令:

docker run -d --name nginx_test -p 80:80 nginx

开启容器,之后访问http://ip:80即可

看到上面的图说明没有问题。

Nginx的目录

上图为当前版本nginx的主要目录

  1. /usr/sbin/nginx:nginx执行命令
  2. /usr/lib/nginx:各个模块,http、js等相关的
  3. /usr/share/nginx:含html目录,网站代码放在里面即可
  4. /etc/nginx:配置文件,下面详细讲述
  5. /var/log/nginx:nginx的日志

一般会挂载日志、配置文件和代码目录

在当前目录下生成nginx目录,里面有src conf logs三个目录,之后我们查看日志、替换网站代码就不必进容器了。

cd nginx
docker cp nginx_test:/etc/nginx/ ./conf/

注意:需要将conf里面的nginx里面的文件及目录拷贝到conf下,并删除空的nginx目录。若不拷贝,挂载后可能会失败,显示找不到配置文件。

停止并删除之前启动的容器,启动新的容器(在nginx目录下)

docker run -d -p 80:80 -v $PWD/src:/usr/share/nginx/html -v $PWD/conf:/etc/nginx -v $PWD/logs:/var/log/nginx nginx

启动后本地文件目录如下图所示。

Nginx的命令

进入容器(替换container_id)

docker exec -it container_id bash

使用

nginx -h

查看命令帮助

nginx version: nginx/1.21.6
Usage: nginx [-?hvVtTq] [-s signal] [-p prefix]
             [-e filename] [-c filename] [-g directives]
Options:
  -?,-h         : this help
  -v            : show version and exit
  -V            : show version and configure options then exit
  -t            : test configuration and exit
  -T            : test configuration, dump it and exit
  -q            : suppress non-error messages during configuration testing
  -s signal     : send signal to a master process: stop, quit, reopen, reload
  -p prefix     : set prefix path (default: /etc/nginx/)
  -e filename   : set error log file (default: /var/log/nginx/error.log)
  -c filename   : set configuration file (default: /etc/nginx/nginx.conf)
  -g directives : set global directives out of configuration file

常用关闭 检查配置文件 重载配置文件

nginx -s stop
nginx -t
nginx -s reload

Nginx配置文件

nginx.conf和default.conf,一般default.conf是写全局配置,nginx.conf会include一下conf.d目录下的default.conf

Nginx配置文件结构

...              #全局块
events {         #events块
   ...
}
http      #http块
{
    ...   #http全局块
    server        #server块
    { 
        ...       #server全局块
        location [PATTERN]   #location块
        {
            ...
        }
        location [PATTERN] 
        {
            ...
        }
    }
    server
    {
      ...
    }
    ...     #http全局块
}

1、全局块:配置影响nginx全局的指令。一般有运行nginx服务器的用户组,nginx进程pid存放路径,日志存放路径,配置文件引入,允许生成worker process数等。

2、events块:配置影响nginx服务器或与用户的网络连接。有每个进程的最大连接数,选取哪种事件驱动模型处理连接请求,是否允许同时接受多个网路连接,开启多个网络连接序列化等。

3、http块:可以嵌套多个server,配置代理,缓存,日志定义等绝大多数功能和第三方模块的配置。如文件引入,mime-type定义,日志自定义,是否使用sendfile传输文件,连接超时时间,单连接请求数等。

4、server块:配置虚拟主机的相关参数,一个http中可以有多个server。

5、location块:配置请求的路由,以及各种页面的处理情况。

全局块

user:配置用户或者组

worker_processes:允许生成的进程数,默认auto

error_log:指定错误日志路径,级别。这个设置可以放入全局块,http块,server块,级别为:

  1. debug
  2. info
  3. notice
  4. warn
  5. error
  6. crit
  7. alert
  8. emerg
    pid:指定nginx进程运行文件存放地址

events块

accept_mutex:设置网路连接序列化,防止惊群现象发生,默认为on

multi_accept :设置一个进程是否同时接受多个网络连接,默认为off

use:事件驱动模型,

9. select

10. poll

11. kqueue

12. epoll resig

13. dev

14. poll

15. eventport

worker_connections :最大连接数,默认为1024

http全局块

include:文件扩展名与文件类型映射表,默认/etc/nginx/mime.types

default_type:默认文件类型,默认为application/octet-stream

sendfile:允许sendfile方式传输文件,默认为on,可以在http块,server块,location块。

sendfile_max_chunk :每个进程每次调用传输数量不能大于设定的值,默认为0,即不设上限。

keepalive_timeout:连接超时时间,默认为65s,可以在http,server,location块。

log_format:日志格式,常见的有:

  • 1.$remote_addr 与 $http_x_forwarded_for 用来记录nginx反向代理的ip地址和真实的客户端的ip地址;
  • 2.$remote_user :用来记录客户端用户名称;
  • 3.$time_local : 用来记录访问时间与时区;
  • 4.$request : 用来记录请求的url与http协议;
  • 5.$status : 用来记录请求状态,例如,成功是200;
  • 6.$body_bytes_sent :记录发送给客户端文件主体内容大小;
  • 7.$http_referer :用来记录从那个页面链接访问过来的;
  • 8.$http_user_agent :记录客户端浏览器的相关信息;

access_log:访问日志设置**

server全局块

keepalive_requests:单连接请求上限次数。

listen:监听端口,默认80

server_name:监听地址。默认localhost

error_page:错误页

location块

root:网站根目录,默认/usr/share/nginx/html
index:设置默认页 index.html
deny:拒绝的ip
allow:允许的ip
proxy_pass:请求转向mysvr 定义的服务器列表

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;

proxy_connect_timeout 60:nginx跟后端服务器连接超时时间(代理连接超时)

proxy_read_timeout 60:连接成功后,与后端服务器两个成功的响应操作之间超时时间(代理接收超时)

proxy_buffer_size 4k:设置代理服务器(nginx)从后端realserver读取并保存用户头信息的缓冲区大小,默认与proxy_buffers大小相同,其实可以将这个指令值设的小一点

proxy_buffers 4 32k:proxy_buffers缓冲区,nginx针对单个连接缓存来自后端realserver的响应,网页平均在32k以下的话,这样设置

proxy_busy_buffers_size 64k:高负荷下缓冲大小(proxy_buffers*2)

proxy_max_temp_file_size:当 proxy_buffers 放不下后端服务器的响应内容时,会将一部分保存到硬盘的临时文件中,这个值用来设置最大临时文件大小,默认1024M,它与 proxy_cache 没有关系。大于这个值,将从upstream服务器传回。设置为0禁用。

proxy_temp_file_write_size 64k:当缓存被代理的服务器响应到临时文件时,这个选项限制每次写临时文件的大小。

proxy_temp_path(可以在编译的时候)指定写到哪那个目录。

自带配置文件解读

default.conf

server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;
    #access_log  /var/log/nginx/host.access.log  main;
    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
    #error_page  404              /404.html;
    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }
    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}
    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}
    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

监听端口80,服务器为localhost,这也是为什么我前面让各位读者打开80端口访问Nginx

网站根目录为:/usr/share/nginx/html,主页为index.html或index.htm,错误页类似

nginx.conf

user  nginx;
worker_processes  auto;
error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    keepalive_timeout  65;
    #gzip  on;
    include /etc/nginx/conf.d/*.conf;
}

用户为nginx,worker进程数自动

错误日志默认目录为/var/log/nginx/error.log,级别为notice

nginx运行文件存储位置:/var/run/nginx.pid

最大连接数为1024

包含MIME类型:/etc/nginx/mime.types

默认类型为:application/octet-stream

log日志格式为:请查看前面http全局块

json格式比较方便,现在常用,Nginx日志也可以设置为json格式,例如

log_format log_json '{"@timestamp": "$time_local", '
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time"'
                        ' }';
    access_log  logs/access.log log_json; # 引用日志格式名称

反向代理与负载均衡实战

熟悉我的朋友都知道,我讲完理论是要实践的,这里就来实践一下反向代理与负载均衡。整个环境如下:

80端口可以访问到两个服务器,8080端口和8081端口分别能访问next_demo1和next_demo2

nginx.conf 如下:

user  nginx;
worker_processes  auto;
error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
    # 负载均衡
    upstream next_demo{
        server next_demo1:3000 weight=2;
        server next_demo2:3000 weight=1;
    }
    server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;
    # 反向代理
    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
        proxy_pass   http://next_demo;
    }
    location = /50x.html {
        root   /usr/share/nginx/html;
    }
    }
}

访问结果如下:

这里只是演示哈,实际应该不暴露后面服务器的端口,两个服务器内容一致。

访问80端口,刷新几次,可以看到 1 2的比例差不多是2:1,也就是负载均衡。查看Nginx日志也能看到。

由于涉及到了docker-compose,搭建的的内容放到了这篇文章:Docker-docker-compose学习笔记(yaml,实战)

留个作业,设置下动静分离、正向代理,可以把你的博客放到评论区。

参考

nginx.com

nginx.org

菜鸟教程-Nginx配置详解

相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
11天前
|
运维 应用服务中间件 网络安全
自动化运维的新篇章:使用Ansible进行服务器配置管理
【10月更文挑战第34天】在现代IT基础设施的快速迭代中,自动化运维成为提升效率、确保一致性的关键手段。本文将通过介绍Ansible工具的使用,展示如何实现高效的服务器配置管理。从基础安装到高级应用,我们将一步步揭开自动化运维的神秘面纱,让你轻松掌握这一技术,为你的运维工作带来革命性的变化。
|
28天前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
57 2
|
1月前
|
运维 监控 安全
安全运维:入侵检测与防御实战指南
安全运维:入侵检测与防御实战指南 【10月更文挑战第9天】
109 3
|
1月前
|
运维 负载均衡 应用服务中间件
自动化运维:使用Ansible进行服务器配置管理
【9月更文挑战第34天】在现代IT运维工作中,自动化已成为提升效率、减少错误的关键。本文将介绍如何使用Ansible这一强大的自动化工具来简化和加速服务器的配置管理工作。我们将通过实际案例展示如何利用Ansible的Playbooks来自动化常见任务,并讨论其对提高运维团队工作效率的影响。
|
1月前
|
运维 应用服务中间件 网络安全
自动化运维:使用Ansible进行批量服务器配置
【9月更文挑战第35天】在现代IT基础设施管理中,高效、可扩展的自动化工具是提升工作效率的关键。本文将引导您了解如何使用Ansible这一强大的自动化工具来简化和加速服务器的配置过程,确保一致性和可靠性的同时减少人为错误。通过实际案例,我们将展示如何编写Ansible Playbook以实现批量服务器配置,从而让您能够更加轻松地管理和维护您的服务器群。
|
20天前
|
运维 应用服务中间件 调度
自动化运维:使用Ansible实现服务器批量管理
【10月更文挑战第26天】在当今快速发展的IT领域,自动化运维已成为提升效率、降低人为错误的关键技术手段。本文通过介绍如何使用Ansible这一强大的自动化工具,来简化和加速服务器的批量管理工作,旨在帮助读者理解自动化运维的核心概念和实践方法。文章将围绕Ansible的基础使用、配置管理、任务调度等方面展开,通过实际案例引导读者深入理解自动化运维的实现过程,最终达到提高运维效率和质量的目的。
|
30天前
|
运维 负载均衡 安全
自动化运维:使用Ansible进行服务器配置管理
【10月更文挑战第15天】在本文中,我们将探讨如何利用Ansible这一强大的自动化工具来简化和加速服务器的配置管理工作。通过实际案例和代码示例,我们将展示Ansible如何帮助运维人员高效地进行软件部署、系统更新和日常维护任务,从而提升工作效率并减少人为错误。
|
1月前
|
运维 Java Linux
【运维基础知识】Linux服务器下手写启停Java程序脚本start.sh stop.sh及详细说明
### 启动Java程序脚本 `start.sh` 此脚本用于启动一个Java程序,设置JVM字符集为GBK,最大堆内存为3000M,并将程序的日志输出到`output.log`文件中,同时在后台运行。 ### 停止Java程序脚本 `stop.sh` 此脚本用于停止指定名称的服务(如`QuoteServer`),通过查找并终止该服务的Java进程,输出操作结果以确认是否成功。
36 1
|
1月前
|
SQL 安全 网络安全
守护数字资产:服务器迁移期间的安全挑战与对策
【10月更文挑战第4天】在数字化转型的浪潮中,服务器迁移成为企业不可避免的任务。然而,迁移过程中的安全挑战不容忽视。本文从安全考量的角度,探讨了服务器迁移期间可能遇到的安全问题,并提供了相应的对策和代码示例。
53 3
|
1月前
|
运维 应用服务中间件 Linux
自动化运维:使用Ansible管理服务器配置
【10月更文挑战第2天】在现代IT运维中,自动化是提高效率和减少错误的关键。本文将介绍如何使用Ansible这一强大的自动化工具来简化日常的服务器管理工作。我们将从基础讲起,逐步深入到高级应用,展示如何通过编写简单的Playbooks来自动化复杂的配置任务。文章还将探讨Ansible的最佳实践,并分享一些实际案例来说明其在实际工作中的应用。