【最佳实践】阿里云Elasticsearch 简单高效的实现Nginx Web服务器监控

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 阿里云 Elastic Stack (Elasticsearch、Logstash、Kibana、Beats),作为一站式日志管理、分析平台,将为工程师提供一种非常简单有效的方法来监控 Nginx 。

Nginx 是一种非常流行的开源 Web 服务器,为全球数百万个应用程序提供服务。 Nginx仅次于Apache,这得益于它作为 Web 服务器,有效地提供静态内容和整体性能的方式在全球流行(它还可以充当反向代理,HTTP缓存和负载平衡器)。而从操作和安全性的角度来看,由于Nginx处于应用程序体系结构的关键时刻,所以需要对其进行实时数据监控。

Nginx日志记录基础


Nginx 为用户提供了各种日志记录选项,包括日志记录到文件,条件日志记录和 syslog 日志记录。 Nginx将生成两种可用于操作监视和故障排除的日志类型:错误日志和访问日志。
默认情况下,这两个日志通常都位于/var/log/nginx下,但是此位置可能因系统而异。

# cd /var/log/nginx/
# ls
access.log  error.log

Nginx error logs

错误日志包含可用于对操作问题进行故障诊断的诊断信息。 Nginx error_log指令可用于指定日志文件的路径和严重性,并可在主要,http,邮件,流,服务器,位置上下文(按此顺序)中使用。

日志示例:

2020/04/22 10:06:21 [error] 9289#0: *4128 connect() failed (111: Connection refused) while connecting to upstream, client: 101.133.213.44, server: notest004, request: "GET /admin/ HTTP/1.1", upstream: "http://121.41.222.215:3000/admin/", host: "121.41.222.215"

Nginx access logs

访问日志包含有关发送到 Nginx 并由 Nginx 服务的所有请求的信息。 因此,它们是用于性能监控以及安全性的宝贵资源。 Nginx 访问日志的默认格式是组合格式,但是在分发之间可能会有所不同。 与错误日志一样,您可以使用 access_log 伪指令来设置日志文件路径和日志格式。

日志示例

47.97.73.90 - - [22/Apr/2020:06:26:39 +0800] "GET / HTTP/1.1" 502 559 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/69.0.3494.0 Safari/537.36" "-"

准备工作


将 Nginx 日志传送到阿里云 Elasticsearch 最简单方法是使用 Filebeat。本次教程,将会在阿里云服务环境下,通过在云服务器ECS上安装 Nodejs、Nignx、filebeat,同时开通阿里云 Elasticsearch 服务。

开通阿里云 ECS 服务开通阿里云 Elasticsearch 同一VPC下的 Centos 7.4 版本的 ECS 环境;
• 关闭防火墙以及selinux安全防护工具(ECS为默认关闭状态);
• 开放 ECS 安全组端口,确保 Nodejs 访问 3000 端口,Nginx 访问 80 端口;
• 开通阿里云 Elasticsearch 6.7 环境,确保控制台开通自动创建索引功能,使用创建的账号密码登录 Kibana
• 监测阿里云 Elasticsearch 安全配置是否开放白名单限制;

安装 Nodejs

Nodejs 是一个简单的基于Express框架的web服务器,我们可以在阿里云ECS 服务器上写入如下指令来安装 Nodejs。

# yum install nodejs
# yum install -y npm
#####查看node及npm版本#######
# node -v
# npm -v
####部署nodejs 的web服务器,从git上下载一个简单的nodejs代码
# git clone https://github.com/liu-xiao-guo/samplenodejs
####进入samplenodejs根目录运行如下命令####
# cd samplenodejs/
# npm install
# npm start

在 ECS 安全组中开启3000 访问端口,并在浏览器中输入 ECS IP访问地址:http://121.41.xx.xx:3000/hello

image.png

如果在控制台及浏览器能看到如下输出,表明 Nodejs 应用已经被成功运行。

image.png

安装 Nignx 并设置为反向代理

我们在 阿里云ECS 服务器上写入如下指令来安装 Nignx

# yum install nginx
####配置反向代理####
# vim /etc/nginx/nginx.conf
 server {
        listen       80 default_server;
        listen       [::]:80 default_server;
        server_name  notest004;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        location / {
           proxy_pass http://121.40.100.115:3000;
           index index.html index.htm;
           proxy_set_header Host $host;
           proxy_set_header X-Real-IP $remote_addr;
        }
    }
####启动nignx###
# systemctl start nginx

如果我们想停止nginx,我们可以使用如下的命令:
systemctl stop nginx
要在停止时启动Web服务器,请键入:
systemctl start nginx
要停止然后再次启动该服务,请键入:
systemctl restart nginx

下载并安装 Filebeat


在阿里云ECS环境中,下载filebeat安装包,并解压。

安装

# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-linux-x86_64.tar.gz
# tar -zxvf filebeat-6.7.0-linux-x86_64.tar.gz

配置

修改filebeat-6.7.0-linux-x86_64/filebeat.yml

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["es-cn-0pp19tb10000688c8p.elasticsearch.aliyuncs.com:9200"]
  username: "elastic"
  password: "Elastic123"
  
  setup.kibana:
      host: "https://es-cn-0pp19tb1000888c8p.kibana.elasticsearch.aliyuncs.com:5601"

启动 Nginx 模块

# ./filebeat modules enable nginx

配置模块

为了能够使得我们的nginx模块能够正确地被 Kibana Dashboard 显示,我们必须运行如下的命令。
# ./filebeat setup
image.png

至此我们的安装都已经完成。

Kibana Dashboard 展示


进入 Kibana,点击 Dashboard 选择已导入的 Nginx 模块
image.png
我们点击“【Filebeat Nginx】Overview”
image.png
至此,我们完成了对 Nginx 日志的监控。在 Kibana Dashboard 我们可以看到 Nginx 的所有信息。

声明:本文由“Beats:使用Elastic Stack对Nginx Web服务器监控”基于阿里云服务环境授权改编

原文作者:Elastic 中国社区布道师——刘晓国
合作编辑: Lettie/大禹
出处链接:https://me.csdn.net/UbuntuTouch


image.png

阿里云Elastic Stack】100%兼容开源ES,独有9大能力

相关活动


更多折扣活动,请访问阿里云 Elasticsearch 官网

阿里云 Elasticsearch 商业通用版,1核2G ,SSD 20G首月免费
阿里云 Logstash 2核4G首月免费


image.png

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
65 5
|
4月前
|
监控 前端开发 JavaScript
ARMS的Web应用监控
【8月更文挑战第23天】
69 8
|
4月前
|
Java 应用服务中间件 Shell
Nginx+Keepalived+Tomcat 实现Web高可用集群
Nginx+Keepalived+Tomcat 实现Web高可用集群
128 0
|
3月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
3月前
|
负载均衡 网络协议 应用服务中间件
web群集--rocky9.2源码部署nginx1.24的详细过程
Nginx 是一款由 Igor Sysoev 开发的开源高性能 HTTP 服务器和反向代理服务器,自 2004 年发布以来,以其高效、稳定和灵活的特点迅速成为许多网站和应用的首选。本文详细介绍了 Nginx 的核心概念、工作原理及常见使用场景,涵盖高并发处理、反向代理、负载均衡、低内存占用等特点,并提供了安装配置教程,适合开发者参考学习。
|
4月前
|
Ubuntu 应用服务中间件 Linux
在Linux中,如何配置Web服务器(如Apache或Nginx)?
在Linux中,如何配置Web服务器(如Apache或Nginx)?
|
4月前
|
监控 关系型数据库 MySQL
【疫情监控】打造全国新冠疫情Web项目:三次优化,提升用户体验
本文分享了开发全国新冠疫情Web项目的经验和优化过程,包括调整项目结构、新增logger模块改善日志记录、实现数据实时刷新功能,以及通过spider模块代码自动更新疫情数据,提升了用户体验并简化了项目维护流程。
40 2
|
4月前
|
存储 JSON 监控
FastAPI日志之谜:如何揭开Web应用监控与调试的面纱?
【8月更文挑战第31天】在现代Web开发中,日志记录对于监控应用状态、诊断问题和了解用户行为至关重要。FastAPI框架提供了强大的日志功能,使开发者能轻松集成日志记录。本文将详细介绍如何在FastAPI中设置和利用日志,包括基础配置、请求响应日志、错误处理和结构化日志等内容,帮助提升应用的可维护性和性能。
164 0
|
4月前
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
471 0
|
6月前
|
安全 Ubuntu 应用服务中间件
NGINX环境下实现Web网站访问控制的实战指南
在NGINX中设置基于IP的访问控制可提升网站安全性。步骤包括安装NGINX、备份配置文件、编辑`/etc/nginx/sites-available/default`,添加`allow`和`deny`指令限制特定IP访问,如`allow 192.168.1.100; deny all;`,然后测试配置并重启服务。成功后,仅允许的IP能访问网站,否则会收到403错误。这为Web安全提供基础保障,还可扩展实现更多高级控制策略。【6月更文挑战第20天】
655 3

相关产品

  • 检索分析服务 Elasticsearch版