使用阿里云Elasticsearch快速搭建可观测系统

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 本实验带您体验如何登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

使用阿里云Elasticsearch快速搭建可观测系统


1. 创建资源

开始实验之前,您需要先创建Elasticsearch集群资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。

说明:Elasticsearch集群资源创建过程需要30分钟,请您耐心等待。

2. 登录集群

  1. 双击打开远程桌面的Chromium网页浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问Elasticsearch控制台。
https://elasticsearch-cn-hangzhou.console.aliyun.com
  1. 在左侧导航栏中,单击Elasticsearch实例

  1. Elasticsearch实例页面,在华东1(杭州)地域,找到云产品资源列表中的Elasticsearch实例。

说明:本实验资源区域限定为华东1(杭州)

说明: 本次实验已开通阿里云Elasticsearh6.8版本,仅做本次场景体验使用,如需作为测试环境或生产环境使用,可选择其他更高版本。

3. 登录Kibana,开启自动创建索引功能

  1. Elasticsearch实例页面,单击实例ID

说明:请选择云起实验室为您提供的Elasticsearch实例资源。

  1. 在左侧导航栏,选择配置与管理>可视化控制

  1. Kibana区域中,单击公网入口

  1. 复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至Kibana登录页面的账号和密码,单击登录

  1. 在登录成功页面,单击Explore on my own

  1. 在左侧导航栏,单击Dev Tools(开发工具),再单击Go to work

  1. Console页签下,执行如下命令,开启阿里云ES实例的自动创建索引功能。
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": "true" 
}
}

开启成功后,返回结果如下。

{
  "acknowledged" : true,
  "persistent" : {
    "action" : {
      "auto_create_index" : "true"
    }
  },
  "transient" : { }
}


4. 使用Metricbeat采集ECS上的系统数据

  1. 返回阿里云Elasticsearch管理控制台选择Beats数据采集>创建采集器

  1. 创建采集器对话框中,单击Metricbeat

  1. 确定服务授权对话框中,单击确认,授权创建服务关联角色。

说明:若没有弹出确定服务授权对话框,您可忽略此步骤。

  1. 在采集器配置向导中,输入或选择采集器信息,复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至用户名密码。

  1. metricbeat.yml中末尾添加如下脚本,单击下一步

metricbeat.modules:
- module: system
  metricsets:
    - cpu             
    - load            
    - memory         
    - network        
    - process         
    - process_summary 
    - uptime          
    - socket_summary  
    - core
    - diskio 
    - filesystem
    - fsstat
  enabled: true
  period: 10s
  processes: ['.*']
  cpu.metrics:  ["percentages"]
  core.metrics: ["percentages"]
  1. 选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。

  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Dashboard,搜索[Metricbeat System] Overview

  1. 单击进入[Metricbeat System] Overview页面,再单击Host Overview,可查看监控仪表板。


5. 使用Filebeat采集ECS上的Nginx服务数据

  1. 返回阿里云Elasticsearch管理控制台 > Beats数据采集中心
  2. 在创建采集器区域,将鼠标移至Filebeat上,单击ECS日志

  1. 在采集器配置向导中,输入或选择采集器信息。完成后,单击下一步

填写Filebeat文件目录处,填写如下路径:

/var/log/nginx/

  1. filebeat.yml中更改如下脚本。

在第24行enabled更改为true。

在第28行更改paths:

- /var/log/nginx/*.log

  1. 单击下一步,选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Discover,点击选择filebeat,可查看采集的数据详情。

  1. 如出现数据无法展示,可在右上角选择“Last 24 hours ” 即可查看采集的数据详情。


6. 更多技术交流咨询,欢迎扫码入群

扫码入群,参与Elasticsearch技术交流


实验链接:https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
前端开发 安全 Java
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
1040 0
在华为鲲鹏OpenEuler20.03系统上安装ElasticSearch7
|
6月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
2938 0
|
11月前
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
539 2
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
1088 3
|
搜索推荐 Java 数据库
springboot集成ElasticSearch的具体操作(系统全文检索)
springboot集成ElasticSearch的具体操作(系统全文检索)
|
Linux 异构计算 索引
释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握
释放搜索潜力:基于ES(ElasticSearch)打造高效的语义搜索系统,让信息尽在掌握
|
关系型数据库 MySQL Java
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
274 0
|
自然语言处理 搜索推荐 安全
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
299 0
使用 Elasticsearch 搭建自己的搜索系统,这个厉害了。。
|
搜索推荐 关系型数据库 MySQL
使用了ElasticSearch之后,公司系统查询速度快了50倍,工资直接翻一倍
使用了ElasticSearch之后,公司系统查询速度快了50倍,工资直接翻一倍
使用了ElasticSearch之后,公司系统查询速度快了50倍,工资直接翻一倍
|
存储 弹性计算 搜索推荐
上穷碧落下凡尘:Win10系统下基于Docker配置Elasticsearch7配合Python3进行全文检索交互
基于文档式的全文检索引擎大家都不陌生,之前一篇文章:[使用Redisearch实现的全文检索功能服务](https://v3u.cn/a_id_105),曾经使用Rediseach来小试牛刀了一把,文中戏谑的称Rediseach已经替代了Elasticsearch,其实不然,Elasticsearch作为老牌的全文检索引擎还并没有退出历史舞台,依旧占据主流市场,桃花依旧笑春风,阿里也在其ecs服务中推出了云端Elasticsearch引擎,所以本次我们在Win10系统中依托Docker来感受一下Elasticsearch的魅力。
上穷碧落下凡尘:Win10系统下基于Docker配置Elasticsearch7配合Python3进行全文检索交互

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版