带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (2) https://developer.aliyun.com/article/1228350

3.5.12.Monitoring及Central Management


创作人:高冬冬

审稿人:刘帅

 

Management

 

Monitoring

 

Monitoring 就是跟踪和监控 Elastic Stack 各个组件的实时运行状况和性能指标;当监控一个集群时,不仅要采集 Elasticsearch 节点的指标,而且要采集集群相关的 Logstash 节点,

Kibana 实例以及各种 Beats 节点的性能指标甚至还要通过 Filebeat 采集集群日志,存储在 Elasticsearch 集群中,以便可以通过 Kibana 可视化,实时监控各种组件和节点的实时运行状态。

 

两种监控方案

 

l 组件自身监控

l Metricbeat 监控

 

组件自身监控

 

开启快捷简单,无需额外组件,收集采集指标会占用组件自身资源;


image.png

默认情况下,每一个 Elastic Stack 组件自身都包含一个内置的 agent 负责采集数据

image.png


配置方式

 

Elasticsearch

 

在 Elasticsearch 集群中监控采集配置默认关闭的 xpack.monitoring.collection.enabled :

false

 

1、通过 Kibana 开启

l 打开 Kibana

l 进入 Management-->Stack Monitoring

l 点击 Turn on monitoring


image.png



2、通过 API 开启


GET _cluster/settings
PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

3、Elasticsearch 的其他配置

 

在节点的配置文件 elasticsearch.yml 更多配置

 

image.png

image.png


参考文献:https://www.elastic.co/guide/en/elasticsearch/reference/7.10/monitoring-settings.html

 

Kibana

 

在配置文件 kibana.yml 开启

 

#是否开启Kibana NodeJS server指标采集

monitoring.kibana.collection.enabled: true

#采集频率(ms),默认10s

monitoring.kibana.collection.interval: 10000

#指定监控指标存储远程ES集群

monitoring.ui.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]

#远程ES集群的账号和密码

monitoring.ui.elasticsearch.username: elasticsearch

monitoring.ui.elasticsearch.password: changeme

#控制monitoring后端的运行和kibana运行状态的监控

monitoring.enabled: true

#在kibana中隐藏Stack Monitoring功能。

monitoring.ui.enabled: true

 

参考文档:https://www.elastic.co/guide/en/kibana/7.10/monitoring-settings-kb.html#monitoring-general-settings

 

Logstash

 

在配置文件 logstash.yml 开启


# X-Pack Monitoring
# https://www.elastic.co/guide/en/logstash/current/monitoring-logstash.html
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]
xpack.monitoring.elasticsearch.username: elasticsearch
xpack.monitoring.elasticsearch.password: password

Beats:Filebeat、Metricbeat

 

在配置文件 filebeat.yml 或 metricbeat.yml 中开启


monitoring.enabled: true
#monitoring.cluster_uuid:
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password


APM

 

在配置文件 apm-server.yml 中开启


monitoring.enabled: true
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password

从某种程度上讲 AMP Server 其实就是另外一种 Beat。对于它的监控和 Beats 完全是一样的。

 


 

 

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
12月前
|
存储 监控 Java
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (3)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (3)
|
12月前
|
存储 数据采集 监控
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
114 1
|
12月前
|
JSON 监控 数据可视化
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (4)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (4)
|
12月前
|
监控
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (5)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (5)
139 0
|
12月前
|
缓存 数据管理 索引
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (6)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (6)
|
12月前
|
运维 监控 数据管理
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)
|
12月前
|
机器学习/深度学习 数据建模 索引
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(中)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(中)
|
12月前
|
机器学习/深度学习 运维 数据可视化
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(上)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(上)
|
12月前
|
机器学习/深度学习
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)
|
12月前
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)