使用阿里云Elasticsearch快速搭建智能运维系统

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 阿里云Elasticsearch兼容开源ELK功能,提供免运维全托管服务的弹性云搜索与分析引擎,致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务;独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力,全面提升企业应用效率,降低成本。

1. 登录集群

  1. 在右侧远程桌面中打开浏览器,复制左侧云产品资源中提供的阿里云子用户名称和密码登录控制台。
  2. 复制如下阿里云Elasticsearch控制台地址至浏览器地址栏,登录Elasticsearch控制台。

说明:您可以在云产品资源列表查看已创建的资源信息,例如:IP地址、用户名密码和资源所在地域等。

https://elasticsearch-cn-hangzhou.console.aliyun.com


2. 登录Kibana,开启自动创建索引功能

  1. 在右侧概览页面Elasticsearch区域中,单击集群管理。
  2. 在Elasticsearch实例列表中,单击实例ID
  3. 在左侧导航栏,选择配置与管理 > 可视化控制
  4. 在Kibana区域中,单击修改配置
  5. 开启Kibana私网访问,此变更过程需等待3-5分钟。
  6. 返回上级页面,在Kibana区域中,单击公网入口
  7. 复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至Kibana登录页面的账号和密码,单击登录
  8. 在登录成功页面,单击Explore on my own
  9. 在左侧导航栏,单击Dev Tools(开发工具),再单击Go to work
  10. 在Console页签下,执行如下命令,开启阿里云ES实例的自动创建索引功能。
PUT _cluster/settings{"persistent":{"action.auto_create_index":"true"}}

开启成功后,结果如下。

{
  "acknowledged" : true,
  "persistent" : {
    "action" : {
      "auto_create_index" : "true"
    }
  },
  "transient" : { }
}

3. 使用Metricbeat采集ECS上的系统数据

  1. 返回阿里云Elasticsearch管理控制台,单击Beats数据采集 > 创建采集器。

  1. 在创建采集器窗口中,单击Metricbeat

  1. 在系统弹出的确定服务授权对话框,单击确认,授权创建服务关联角色。

  1. 在采集器配置向导中,输入或选择采集器信息,复制左侧云产品资源列表下的Elasticsearch登录名Elasticsearch登录密码,至用户名密码。

  1. metricbeat.yml中末尾添加如下脚本,单击下一步

metricbeat.modules:
- module:systemmetricsets:- cpu- load- memory- network- process- process_summary- uptime- socket_summary- core- diskio- filesystem- fsstatenabled:trueperiod:10sprocesses:['.*']cpu.metrics:["percentages"]core.metrics:["percentages"]
  1. 选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  1. 单击启动。启动成功后,系统弹出启动成功对话框。
  2. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
  1. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  2. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Dashboard,搜索[Metricbeat System] Overview

  1. 单击进入[Metricbeat System] Overview页面,再单击Host Overview,可查看监控仪表板。

4. 使用Filebeat采集ECS上的Nginx服务数据

  1. 返回阿里云Elasticsearch管理控制台 > Beats数据采集中心
  2. 在创建采集器区域,将鼠标移至Filebeat上,单击ECS日志

  1. 在采集器配置向导中,输入或选择采集器信息。完成后,单击下一步

填写Filebeat文件目录处,填写如下路径:

/var/log/nginx/

  1. filebeat.yml中更改如下脚本。

在第24行enabled更改为true。

在第28行更改paths:

- /var/log/nginx/*.log

  1. 单击下一步,选择采集器安装的ECS实例。

  1. 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
  2. 单击启动。启动成功后,系统弹出启动成功对话框。
  3. 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Filebeat采集器,等待采集器状态变为已生效1/1。
  4. 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)
  5. 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v

索引创建成功后,结果如下。

  1. 在左侧导航栏,单击Discover,点击选择filebeat,可查看采集的数据详情。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
图形学
Unity射线检测的避坑指南
Unity射线检测的避坑指南
|
Java 数据库连接 Maven
手把手整合SSM框架1
手把手整合SSM框架
250 0
|
12月前
交换机中创建MAC地址表
【10月更文挑战第1天】
388 2
|
网络协议
一文彻底搞定TCP协议的三次握手和四次挥手
通过本章的探险,你将学会如何TCP协议的三次握手和四次挥手
|
Kubernetes 监控 Perl
在K8S中,如何具体实现Pod被删除后,还能被自动拉起功能?
在K8S中,如何具体实现Pod被删除后,还能被自动拉起功能?
|
网络协议 Ubuntu Linux
会Linux系统上配IPv6地址的网工,那真是老6了!
会Linux系统上配IPv6地址的网工,那真是老6了!
318 0
|
关系型数据库 MySQL Linux
error: Failed dependencies: libncurses.so.5()(64bit) is needed by mysql-community-client-8.0.36-1.el7.x86_64 libtinfo.so.5()(64bit) is needed by mysql-community-client-8.0.36-1.el7.x86_64 如何解决?
error: Failed dependencies: libncurses.so.5()(64bit) is needed by mysql-community-client-8.0.36-1.el7.x86_64 libtinfo.so.5()(64bit) is needed by mysql-community-client-8.0.36-1.el7.x86_64 如何解决?
1887 3
|
设计模式 存储 消息中间件
设计模式之美(二)——设计模式
《设计模式之美》是极客时间上的一个代码学习系列,在学习之后特在此做记录和总结。
设计模式之美(二)——设计模式
|
存储 网络协议 文件存储
【超强笔记软件】Obsidian实现免费无限流量无套路云同步(三)
【超强笔记软件】Obsidian实现免费无限流量无套路云同步(三)
786 0
|
人工智能 安全 物联网安全
物联网安全:保护智能设备的核心挑战
物联网安全是保护智能设备和用户隐私的重要任务。通过采取设备认证、数据加密、网络防火墙等关键策略,我们可以有效地降低物联网设备受到威胁的风险。未来,随着技术的不断发展,物联网安全将继续成为人工智能领域的关键挑战和发展方向。
613 1