1.Nginx简介和安装部署
1.1.什么是Nginx
- 高性能的[HTTP]和反向代理的web服务器,用c语言编写,高性能支持单机千万级连接,强大的第三方库支持,负载均衡、静态文件服务器等。
1.2.Nginx的用途
- 搭建前端静态资源服务器、文件服务器
- 负载均衡Upstream配置实战、后端节点高可用性探测、全局异常兜底数据配置
- Nginx封禁恶意IP、配置跨域、location和rewrite实战
- Websocket配置、后端业务数据缓存前置、静态资源压缩
- 阿里云ESC部署配置HTTPS证书
- Nginx整合Openresty开发内网访问限制、文件资源下载限速实现原理
- LVS+KeepAlived高可用配置
1.3.正向代理服务器
- 客户端和目标服务器之间的服务器,客户端想代理发送一个请求指定目标服务器,然后代理向目标服务器请求并获得内容,并返回给客户端,平时说的代理服务器一般是正向代理服务器。
- 核心:用户知道自己要访问的目标服务器
- 场景:跳板机,访问原来无妨访问的网站
1.4.反向代理服务器
- 客户端和目标服务器之间的服务器,客户端向代理发送一个请求,然后代理向目标服务器请求并获得内容,并返回给客户端。反向代理隐藏了真是的服务器。
- 核心:客户端不知道要访问的目标服务器是哪台服务器,代理会根据一定的策略选择一个真是的服务器进行请求。
- 场景:域名映射
1.5.nginx安装部署
- 安装依赖
- yum -y install gcc zlib zlib-devel pcre-devel opensslopenssl-devel
- 解压nginx.tar.gz压缩包
- tar -xvf nginx-1.18.0.tar.gz
- 执行命令
./configure --prefix=/usr/local/nginx && make && make install
阿里云开放网络安全组或者虚拟机开发80端口firewall-cmd --permanent --add-port=80/tcp
启动nginx:/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
1.6.线上访问服务器应用流程解析
- 一个http请求基本流程
- 客户端通过发起域名资源请求->DNS解析获取IP->寻找服务器获取资源
- 域名和IP的关系,DNS作用
- DNS:Domain Name Server域名服务器,域名虽然便于人们记忆,但网络中的计算机只能通过IP相互通信,他们之间的转换共做成为域名解析,域名解析需要由专门的与专门解析服务器完成,DNS就是进行域名解析的服务器。
- 什么是a记录和cname
- a记录
- 用户可以在此设置域名并指向到自己的目标主机地址上,从而实现通过域名找到服务器(lixiang.com->192.168.10.103)
- cname
- 别名指向,可以为一个主机设置别名。比如设置lixiang123.com,用来指向lixiang.com那么以后就可以用lixiang123.com代替lixiang.com来访问,相当于多了一条通道。
1.7.本地虚拟机配置宿主机域名映射
- C:\Windows\System32\drivers\etc
- 修改hosts文件
2.Nginx核心基础知识
2.1.Nginx目录结构
(1)源码安装指定安装路径
- /usr/local/nginx
(2)目录核心介绍
conf #所有配置文件的目录 nginx.conf #默认的主要配置文件 nginx.conf.default #默认模板 html #这是编译安装时Nginx的默认站点目录 50x.html #错误页面 index.html #默认首页 logs #nginx默认的日志路径,包括错误日志以及访问日志 error.log #错误日志 nginx.pid #nginx启动后的进程id access.log #nginx访问日志 sbin #nginx命令目录 nginx #启动命令
(3)常见命令
./nginx #默认配置文件启动 ./nginx -s reload #重启,加载默认的配置文件,conf/nginx.conf ./nginx -s stop #停止nginx ./nginx -c /usr/local/nginx/conf/nginx.conf #指定配置文件启动 #nginx进程有master process和worker process,关闭master进程即可,其他都被关掉
2.2.Nginx核心配置文件
- 全局配置
- server主机配置
- location(URL匹配特定位置的设置)
#每个配置项有配置指令和指令参数够成 nginx配置文件全部用的相对路径 #user nobody; #指定nginx用户组 worker_processes 1; #指定worker process进程的数量 #error_log logs/error.log; #错误日志存放的路径 #error_log logs/error.log notice; #告警日志 #error_log logs/rttor/log info; #平常日志 #pid logs/nginx.pid #nginx进程的启动PID #事件模块指令,用来指定Nginx的IO模型,Nginx支持的所有select、poll、kqueue、epoll等 #不同的是epoll用在linux平台上,而kqueue用在BSD系统上 events{ use epoll; #指定每个worker进程的最大连接数,作为服务器来说,最大连接数为worker_connections * worker_processes #作为反向代理来说,最大连接数为worker_connections * worker_processes / 2 worker_connections 1024; } #HTTP模块 http{ #资源的媒体类型 include mime.types; #默认为下载,浏览器访问到未定义的扩展名的时候,就默认为下载该文件 default_type application/octet-stream; #自定义服务日志 #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log日志,main 日志定义的格式 #access_log logs/access/log main; #是否开启高效传输模式 on开启,off关闭 sendfile on; #减少网络报文段的数量 #tcp_nopush on; #客户端连接保持活动的超时时间,超过这个时间服务器会自动关闭 keepalive_timeout 65; #是否开启压缩 #gzip on; #虚拟主机配置 server { #虚拟主机的服务端口 listen 80; #用来指定IP地址和域名,可以有多个用空格分开 server_name localhost; #charset koi8-r; #access_log日志,main 日志定义的格式 #access_log logs/host.access.log main; #URL地址配置 location /{ #服务默认启动目录 root html; #默认访问文件,按照顺序找 index index.html; } #URL地址配置 location ~ \.php${ #反向代理的地址 proxy_pass http://127.0.0.1; } } server { .... } }
2.3.Nginx搭建前端静态服务器
(1)什么是虚拟主机
- 指在一台物理主机上划分出多个磁盘空间,每个磁盘空间都是有一个虚拟主机,每台虚拟主机都可以对外提供Web服务,并且互不干扰,类似虚拟机
- 利用虚拟主机把多个不同域名的网站部署在同一台服务器上,节省了服务器硬件成本和相关的维护费用
(2)Nginx虚拟主机配置
#use nobody; worker_processes 1; events{ use epoll; worker_connections 1024; } http{ server{ listen 80; #监听的端口 server_name www.nginx.com #请求的域名 location /{ root /usr/local/software/nginx/html #目录 index index.html #跳转的页面 } } server{ listen 80; server_name www.lixiang.com #请求的域名 location /{ root /usr/local/software/nginx/html #目录 index lixiang.html } } }
重启nginx : ./nginx -s reload
2.4.Nginx搭建图片服务器
(1)图片服务器
- 学javaweb、node、或者其他基础web项目,基本都是图片上传到项目本身,这个是很少用的
- 公司一般都会使用图片服务器或者云厂商提供CDN
- (2)访问流程:前端提交图片->后端处理->存储到数据库->拼接好访问路径保存到数据库,存储到文件服务器
(3)配置虚拟主机
server { listen 80; server_name www.lixiang.com; location /app/img/ { alias /usr/local/software/nginx/img/; } }
注意:
- 在location / 中配置root目录
- 在location /path中配置alias虚拟目录,目录后面“/”符号一定要带上
3.Nginx挖掘accessLog日志
3.1.Nginx访问日志简介
(1)access.log日志用处
- 统计站点访问IP来源、某个时间段的访问频率
- 查看访问最频的页面、Http响应状态码、接口性能
- 接口秒级访问量、分钟访问量、小时和天访问量
(2)默认配置解析
#log_format main '$remote_addr $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"';
(3)案例
122.70.148.18 - [04/Aug/2020:14:46:48 +0800] "GET /user/api/v1/product/order/query_state?product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1" 200 48 "https://xdclass.net/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
(4)日志解析
$remote_addr #访问的客户端IP地址,对应的是122.70.148.18 $remote_user #远程访问的用户,没有就用“-”表示 $time_local #访问的时间,对应04/Aug/2020:14:46:48 +0800 $request #URL请求的地址参数类型等,对应"GET /user/api/v1/product/order/query_state product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1" $status #访问的状态码,200表示正常 $body_bytes_sent #对应的是多少字节,48字节,响应的body大小 $http_referer #访问源,对应是"https://xdclass.net/",如是直接在浏览器刷新时,referer就会为“-” $http_user_agent #对应是客户端浏览器访问的类型 $http_x_forwarded_for #获取用户的真实ip
3.2.Nginx统计站点访问量
(1)查看访问最频繁的前100个IP
awk '{print$1}' access_temp.log | sort | uniq -c | sort -rn | head -100
(2)统计访问最多的url前20名
awk '{print$7}' access_temp.log | sort | uniq -c | sort -rn | head -20
awk是文本处理工具,默认按照空格切分,$N是切割第几个元素,$1就是切割第一个 sort命令用于将文本内容进行排序,-n按照数值排,-r倒序来排,默认从小到大 uniq去除重复出现的列,-c 显示重复的次数
(3)自定义日志格式,统计接⼝响应耗时
- 日志格式增加$request_time
$request_time:从接受用户请求的第一个字节到发送完响应数据的时间,既包括接受数据的时间、程序响应时间、输出相应时间 $upstream_response_time:指从Nginx像向后端建立连接开始到接受完数据然后关闭连接为止的时间。
#定义日志格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"'; #引用日志模板 access_log logs/access.log main;
(4)统计耗时接口, 列出传输时间超过 2 秒的接口,显示前5条
awk '$NF>2{print$7}' access.log | sort| uniq -c | sort -rn | head -5
4.Nginx负载均衡策略
4.1.负载均衡简介
- 分布式系统中一个非常重要的概念,当访问的服务具有多个实例,需要根据某种”均衡“的策略决定请求发往哪个节点,这就是所谓的负载均衡。
- 原理是将数据流量分摊到多个服务器执行,减轻每台服务器的压力,从而提高了数据的吞吐量。
4.2.负载均衡的种类
- 通过硬件来进行解决,常见的硬件有NetScaler、F5、Radware和Array等商用的负载均衡器,但比较昂贵。
- 通过软件来进行解决,常见的软件有LVS、Nginx等,他们是基于Linux系统并且开源的负载均衡策略。
- 目前来说公司用的较多的就是Nginx
4.3.upstream负载均衡配置
upstream lbs{ server 192.168.10.111:8080; server 192.168.10.111:8081; } server{ listen 80; server_name www.lixiang.com; location /api/{ proxy_pass http://lbs; proxy_redirect default; } }
4.4.Nginx负载均衡策略
- 节点轮询(默认)
- 简介:每个请求按照顺序分配到不同的后端服务器
- 场景:会造成可靠性低和负载分配不均衡,适合静态文件服务器
upstream lbs{ server 192.168.10.111:8080; server 192.168.10.111:8081; }
- weight权重配置
- 简介:weight和访问比率成正比,数字越大,分配得到的流量越高
- 场景:服务器性能差异较大的情况使用
upstream lbs{ server 192.168.10.111:8080 weight=5; server 192.168.10.111:8081 weight=10; }
- ip_hash(固定分发)
- 简介:根据请求按照访问ip的hash结果分配,这样每个用户就可以固定访问一个后端服务器。
- 场景:服务器业务分区、业务缓存、Session需要单点的情况。
upstream lbs{ ip_hash; server 192.168.10.111:8080; server 192.168.10.111:8081; }
- upstream还可以为每个节点设置状态值
- down表示当前的server暂时不能参与负载
server 192.168.10.111:8080 down;
- backup其他所有的非backup机器down的时候,会请求backup机器,这台机器压力会最轻,配置也相对低
server 192.168.10.111:8081 backup;
4.5.Nginx后端节点可用性探测配置
- 如果某个应用挂了,请求不应该继续分发过去
- max_fails:允许请求失败的次数,默认为1,当超过最大次数时就不会请求
- fail_timeout:max_fails次失败后,暂停的时间。默认fail_timeout=10s
max_fails=N设定Nginx与后端节点通信的尝试失败的次数,在fail_timeout参数定义的时间内,如果失败的次数到达此值,Nginx就认为这个节点不可用,在下一个fail_timeout时间段到来之前,服务器不会在去尝试。失败尝试次数默认是1,如果设定为0就会停止统计尝试次数,认为服务器一直可用
- 可以通过proxy_next_upstream来配置什么是失败的尝试。
- 注意:默认情况下,http_404状态是不被认为是失败的尝试
- 配置实操
upstream lbs{ server 192.168.10.111:8080 max_fails=2 fail_timeout=60s; server 192.168.10.111:8081 max_fails=2 fail_timeout=60s; } server { listen 80; server_name www.nginx.com; location /api/{ proxy_pass http://lbs; proxy_redirect default; proxy_next_upstream error timeout http_404 http_503 http_500; } }