使用阿里云Elasticsearch快速搭建可观测系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本实验带您体验如何登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

使用阿里云Elasticsearch快速搭建可观测系统


1. 创建资源

开始实验之前,您需要先创建Elasticsearch集群资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。

说明:Elasticsearch集群资源创建过程需要30分钟,请您耐心等待。

2. 登录集群

  1. 双击打开远程桌面的Chromium网页浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问Elasticsearch控制台。
https://elasticsearch-cn-hangzhou.console.aliyun.com
  1. 在左侧导航栏中,单击Elasticsearch实例

  1. Elasticsearch实例页面,在华东1(杭州)地域,找到云产品资源列表中的Elasticsearch实例。

说明:本实验资源区域限定为华东1(杭州)

说明: 本次实验已开通阿里云Elasticsearh6.8版本,仅做本次场景体验使用,如需作为测试环境或生产环境使用,可选择其他更高版本。

3. 登录Kibana,开启自动创建索引功能

  1. Elasticsearch实例页面,单击实例ID

说明:请选择云起实验室为您提供的Elasticsearch实例资源。

  1. 在左侧导航栏,选择配置与管理>可视化控制

  1. Kibana区域中,单击公网入口

  1. 复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至Kibana登录页面的账号和密码,单击登录

  1. 在登录成功页面,单击Explore on my own

  1. 在左侧导航栏,单击Dev Tools(开发工具),再单击Go to work

  1. Console页签下,执行如下命令,开启阿里云ES实例的自动创建索引功能。
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": "true" 
}
}

开启成功后,返回结果如下。

{
  "acknowledged" : true,
  "persistent" : {
    "action" : {
      "auto_create_index" : "true"
    }
  },
  "transient" : { }
}


4. 使用Metricbeat采集ECS上的系统数据

  1. 返回阿里云Elasticsearch管理控制台选择Beats数据采集>创建采集器

  1. 创建采集器对话框中,单击Metricbeat

  1. 确定服务授权对话框中,单击确认,授权创建服务关联角色。

说明:若没有弹出确定服务授权对话框,您可忽略此步骤。

  1. 在采集器配置向导中,输入或选择采集器信息,复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至用户名密码。

  1. metricbeat.yml中末尾添加如下脚本,单击下一步

metricbeat.modules:
- module: system
  metricsets:
    - cpu             
    - load            
    - memory         
    - network        
    - process         
    - process_summary 
    - uptime          
    - socket_summary  
    - core
    - diskio 
    - filesystem
    - fsstat
  enabled: true
  period: 10s
  processes: ['.*']
  cpu.metrics:  ["percentages"]
  core.metrics: ["percentages"]
  1. 选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。

  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Dashboard,搜索[Metricbeat System] Overview

  1. 单击进入[Metricbeat System] Overview页面,再单击Host Overview,可查看监控仪表板。


5. 使用Filebeat采集ECS上的Nginx服务数据

  1. 返回阿里云Elasticsearch管理控制台 > Beats数据采集中心
  2. 在创建采集器区域,将鼠标移至Filebeat上,单击ECS日志

  1. 在采集器配置向导中,输入或选择采集器信息。完成后,单击下一步

填写Filebeat文件目录处,填写如下路径:

/var/log/nginx/

  1. filebeat.yml中更改如下脚本。

在第24行enabled更改为true。

在第28行更改paths:

- /var/log/nginx/*.log

  1. 单击下一步,选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Discover,点击选择filebeat,可查看采集的数据详情。

  1. 如出现数据无法展示,可在右上角选择“Last 24 hours ” 即可查看采集的数据详情。


6. 更多技术交流咨询,欢迎扫码入群

扫码入群,参与Elasticsearch技术交流


实验链接:https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
前端开发 安全 Java
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
755 0
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
|
监控 数据可视化 前端开发
部署kibana分析系统并连接elasticsearch集群展现索引数据(八)
部署kibana分析系统并连接es展现索引数据 1.kibana分析系统简介 Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级的数据分析与可视化的目的。
1034 0
部署kibana分析系统并连接elasticsearch集群展现索引数据(八)
|
4月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
219 3
|
7月前
|
搜索推荐 Java 数据库
springboot集成ElasticSearch的具体操作(系统全文检索)
springboot集成ElasticSearch的具体操作(系统全文检索)
|
Linux 异构计算 索引
释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握
释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握
|
关系型数据库 MySQL Java
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
|
自然语言处理 搜索推荐 安全
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
209 0
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
|
存储 机器学习/深度学习 Prometheus
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(1)
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(1)
166 0
|
存储 机器学习/深度学习 Prometheus
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(2)
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(2)
223 0
|
机器学习/深度学习 分布式计算 监控
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(3)
带你读《Elastic Stack 实战手册》之75:——4.2.1.基于Elasticsearch实现预测系统(3)

相关产品

  • 检索分析服务 Elasticsearch版