使用阿里云Elasticsearch快速搭建可观测系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本实验带您体验如何登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

使用阿里云Elasticsearch快速搭建可观测系统


1. 创建资源

开始实验之前,您需要先创建Elasticsearch集群资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。

说明:Elasticsearch集群资源创建过程需要30分钟,请您耐心等待。

2. 登录集群

  1. 双击打开远程桌面的Chromium网页浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问Elasticsearch控制台。
https://elasticsearch-cn-hangzhou.console.aliyun.com
  1. 在左侧导航栏中,单击Elasticsearch实例

  1. Elasticsearch实例页面,在华东1(杭州)地域,找到云产品资源列表中的Elasticsearch实例。

说明:本实验资源区域限定为华东1(杭州)

说明: 本次实验已开通阿里云Elasticsearh6.8版本,仅做本次场景体验使用,如需作为测试环境或生产环境使用,可选择其他更高版本。

3. 登录Kibana,开启自动创建索引功能

  1. Elasticsearch实例页面,单击实例ID

说明:请选择云起实验室为您提供的Elasticsearch实例资源。

  1. 在左侧导航栏,选择配置与管理>可视化控制

  1. Kibana区域中,单击公网入口

  1. 复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至Kibana登录页面的账号和密码,单击登录

  1. 在登录成功页面,单击Explore on my own

  1. 在左侧导航栏,单击Dev Tools(开发工具),再单击Go to work

  1. Console页签下,执行如下命令,开启阿里云ES实例的自动创建索引功能。
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": "true" 
}
}

开启成功后,返回结果如下。

{
  "acknowledged" : true,
  "persistent" : {
    "action" : {
      "auto_create_index" : "true"
    }
  },
  "transient" : { }
}


4. 使用Metricbeat采集ECS上的系统数据

  1. 返回阿里云Elasticsearch管理控制台选择Beats数据采集>创建采集器

  1. 创建采集器对话框中,单击Metricbeat

  1. 确定服务授权对话框中,单击确认,授权创建服务关联角色。

说明:若没有弹出确定服务授权对话框,您可忽略此步骤。

  1. 在采集器配置向导中,输入或选择采集器信息,复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至用户名密码。

  1. metricbeat.yml中末尾添加如下脚本,单击下一步

metricbeat.modules:
- module: system
  metricsets:
    - cpu             
    - load            
    - memory         
    - network        
    - process         
    - process_summary 
    - uptime          
    - socket_summary  
    - core
    - diskio 
    - filesystem
    - fsstat
  enabled: true
  period: 10s
  processes: ['.*']
  cpu.metrics:  ["percentages"]
  core.metrics: ["percentages"]
  1. 选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。

  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Dashboard,搜索[Metricbeat System] Overview

  1. 单击进入[Metricbeat System] Overview页面,再单击Host Overview,可查看监控仪表板。


5. 使用Filebeat采集ECS上的Nginx服务数据

  1. 返回阿里云Elasticsearch管理控制台 > Beats数据采集中心
  2. 在创建采集器区域,将鼠标移至Filebeat上,单击ECS日志

  1. 在采集器配置向导中,输入或选择采集器信息。完成后,单击下一步

填写Filebeat文件目录处,填写如下路径:

/var/log/nginx/

  1. filebeat.yml中更改如下脚本。

在第24行enabled更改为true。

在第28行更改paths:

- /var/log/nginx/*.log

  1. 单击下一步,选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Discover,点击选择filebeat,可查看采集的数据详情。

  1. 如出现数据无法展示,可在右上角选择“Last 24 hours ” 即可查看采集的数据详情。


6. 更多技术交流咨询,欢迎扫码入群

扫码入群,参与Elasticsearch技术交流


实验链接:https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5天前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
26 3
|
1月前
|
自然语言处理 监控 Cloud Native
|
2月前
|
弹性计算 Prometheus 监控
阿里云可观测 2024 年 5 月产品动态
阿里云可观测 2024 年 5 月产品动态。
|
8天前
|
Ubuntu Linux 数据中心
阿里云服务器纯净版系统及系统版本参考与相关使用说明
在我们选购阿里云服务器的时候,操作系统有公共镜像、自定义镜像、共享镜像、云市场镜像、社区镜像可选,其中公共镜像为纯净版系统,这些系统皆已正版授权,旨在为ECS实例上的应用程序提供安全、稳定的运行环境。本文为大家汇总了阿里云服务器纯净版系统及最新的系统版本以及相关使用说明,以供大家了解和选择。
阿里云服务器纯净版系统及系统版本参考与相关使用说明
|
13天前
|
Prometheus 监控 Cloud Native
阿里云可观测 2024 年 7 月产品动态
阿里云可观测 2024 年 7 月产品动态
253 11
|
5天前
|
存储 安全 API
"解锁企业级黑科技!用阿里云视觉智能打造钉钉级人脸打卡系统,安全高效,让考勤管理秒变智能范儿!"
【8月更文挑战第14天】随着数字化办公的发展,人脸打卡成为企业考勤的新标准。利用阿里云视觉智能开放平台构建类似钉钉的人脸打卡系统,其关键在于:高精度人脸识别API支持复杂场景下的快速检测与比对;活体检测技术防止非生物特征欺骗,确保安全性;云端存储与计算能力满足大数据处理需求;丰富的SDK与API简化集成过程,实现高效、安全的考勤管理。
17 2
|
1月前
|
运维 监控 数据可视化
阿里云可观测 2024 年 6 月产品动态
阿里云可观测 2024 年 6 月产品动态。
|
1月前
|
存储 运维 监控
阿里云 SAE 助力修正商城 3 周内提升系统承载能力 20 倍,轻松应对春晚流量
在 2024 年春节前夕,修正电商事业部面临了前所未有的技术挑战,修正将参与春晚的全民健康好礼派发的活动,且在央视及各大平台进行广告投放,预计流量激增至 16 亿,系统需要承载保底 5 万 QPS,目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验,更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战,修正技术团队选择与阿里云云原生团队合作,进行 APP 架构的升级。
21859 7
|
2月前
|
网络协议 安全 调度
阿里云公共DNS发布支持鸿蒙系统版的SDK
阿里云公共DNS发布支持鸿蒙系统版SDK,赋能鸿蒙开发者快速接入阿里云公共DNS服务。公共DNS将帮助接入的鸿蒙应用免除LocalDNS劫持困扰、解析加速、精准调度。
|
3月前
|
监控 Cloud Native 数据挖掘
飞天发布时刻|阿里云可观测全速演进
5 月 22 日 10:00,阿里云飞天发布时刻,阿里云应用实时监控服务 ARMS 宣布全面升级。这次发布不仅标志着阿里云技术实力的演进,更是对企业需求深刻洞察后的创新实践。
1095 17

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版