带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (1) https://developer.aliyun.com/article/1228351


Metricbeat 监控

 

使用 Metricbeat 采集 Elastic Stack 监控指标,需单独部署监控 Metricbeat 及单独的监控集群。开启对应的 metricbeat modules,避免由于采集数据对组件自身带来压力,而影响组件运行性能。

 

监控方案

 

可用来监控 Elastic Stack 的所有类型组件

 

l 未来版本中默认的监控方案

l 采集性能比内置采集更好

 

image.png

配置方式

 

注意在 6.5 版本以及以后,才可以通过 Metricbeat 采集 Elasticsearch 监控指标,并可指定专用的监控集群。

image.png


1、开启监控数据采集

 

在生产集群中 xpack.monitoring.collection.enabled 默认为 false,可以通过以下 API 进行开启和关闭。针对 Metricbeat 监控,这个设置应为 false。


2、在生产集群的每个 node 上安装 Metricbeat, 保证每个 node 都安装

3、在每个 Elasticsearch node 的 Metricbeat 上开启 Elasticsearch X-Pack module


metricbeat modules enable elasticsearch-xpack

4、在每个 Elasticsearch node 上配置 Elasticsearch X-Pack module


- module: elasticsearch
    xpack.enabled: true
    period: 10s
    hosts: ["http://localhost:9200"]

5、指定监控数据存储的集群

 

在 Metricbeat 的配置文件(metricbeat.yml)中配置 Elasticsearch output 信息。


output.elasticsearch:
  hosts: ["http://es-mon-1:9200", "http://es-mon-2:9200"] 
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

6、在每个 Elasticsearch node 节点启动 Metricbeat

 

nohup ./metricbeat -c metricbeat.yml >/dev/null 2>&1 & 

7、关闭默认的 Elasticsearch 监控数据采集

 

在生产集群中配置 xpack.monitoring.elasticsearch.collection.enabled 为 false

 

通过以下 API 进行配置

 

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.elasticsearch.collection.enabled": false
  }
}

8、在监控集群的 Kibana 中查看监控页面

 

参考文档:

https://www.elastic.co/guide/en/elasticsearch/reference/7.10/monitoring-overview.html

 

专用的监控集群

 

在生产环境推荐部署专用的监控集群来实现集群的指责分离

 

l 减少被监控的业务集群的负载和存储压力。

l 防止被监控集群的故障影响监控功能。

实现职责隔离,比如监控集群和业务集群可配置不同的安全策略,保障级别等。


image.png


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (3) https://developer.aliyun.com/article/1228349

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
存储 弹性计算 自然语言处理
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。
6377 0
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
|
Android开发
Android Mediatek 增加Recovery模式下读cmdline的强制工厂重置选项
Android Mediatek 增加Recovery模式下读cmdline的强制工厂重置选项
187 0
|
存储 缓存 自然语言处理
Elasticesearch内存详解
Elasticesearch内存详解总结文章
4931 0
Elasticesearch内存详解
|
消息中间件 监控 数据挖掘
Elasticsearch 使用误区之二——频繁更新文档
【8月更文挑战第15天】在大数据与搜索技术日益成熟的今天,Elasticsearch 作为一款分布式、RESTful 风格的搜索与数据分析引擎,凭借其强大的全文搜索能力和可扩展性,成为了众多企业和开发者的首选。然而,在使用 Elasticsearch 的过程中,一些常见的误区可能会导致性能下降或数据不一致等问题,其中“频繁更新文档”便是一个不容忽视的误区。本文将深入探讨这一误区的根源、影响及解决方案,帮助读者更好地利用 Elasticsearch。2
442 0
|
缓存 移动开发 算法
[计算机网络(第八版)]第三章 数据链路层(学习笔记)
[计算机网络(第八版)]第三章 数据链路层(学习笔记)
|
人工智能 编解码 数据可视化
moviepy,一个超酷的 Python 视频处理库!
moviepy,一个超酷的 Python 视频处理库!
2036 0
|
监控 数据可视化 关系型数据库
MetricBeat + Elasticsearch + Kibana 实现监控指标可视化
MetricBeat + Elasticsearch + Kibana 实现监控指标可视化
|
关系型数据库 MySQL 数据库连接
解决在eclipse2021中,用mysql-connector-java-8.0.18.jar不兼容,导致无法访问数据库问题
解决在eclipse2021中,用mysql-connector-java-8.0.18.jar不兼容,导致无法访问数据库问题
535 0
|
存储 弹性计算 监控
阿里云ElasticSearch基础巡检指标
阿里云ElasticSearch基础巡检指标
|
存储 SQL druid
十分钟了解 Apache Druid
十分钟了解 Apache Druid
1497 0