带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (2) https://developer.aliyun.com/article/1228350

3.5.12.Monitoring及Central Management


创作人:高冬冬

审稿人:刘帅

 

Management

 

Monitoring

 

Monitoring 就是跟踪和监控 Elastic Stack 各个组件的实时运行状况和性能指标;当监控一个集群时,不仅要采集 Elasticsearch 节点的指标,而且要采集集群相关的 Logstash 节点,

Kibana 实例以及各种 Beats 节点的性能指标甚至还要通过 Filebeat 采集集群日志,存储在 Elasticsearch 集群中,以便可以通过 Kibana 可视化,实时监控各种组件和节点的实时运行状态。

 

两种监控方案

 

l 组件自身监控

l Metricbeat 监控

 

组件自身监控

 

开启快捷简单,无需额外组件,收集采集指标会占用组件自身资源;


image.png

默认情况下,每一个 Elastic Stack 组件自身都包含一个内置的 agent 负责采集数据。

image.png


配置方式

 

Elasticsearch

 

在 Elasticsearch 集群中监控采集配置默认关闭的 xpack.monitoring.collection.enabled :

false

 

1、通过 Kibana 开启

l 打开 Kibana

l 进入 Management-->Stack Monitoring

l 点击 Turn on monitoring


image.png



2、通过 API 开启


GET _cluster/settings
PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

3、Elasticsearch 的其他配置

 

在节点的配置文件 elasticsearch.yml 更多配置

 

image.png

image.png


参考文献:https://www.elastic.co/guide/en/elasticsearch/reference/7.10/monitoring-settings.html

 

Kibana

 

在配置文件 kibana.yml 开启

 

#是否开启Kibana NodeJS server指标采集

monitoring.kibana.collection.enabled: true

#采集频率(ms),默认10s

monitoring.kibana.collection.interval: 10000

#指定监控指标存储远程ES集群

monitoring.ui.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]

#远程ES集群的账号和密码

monitoring.ui.elasticsearch.username: elasticsearch

monitoring.ui.elasticsearch.password: changeme

#控制monitoring后端的运行和kibana运行状态的监控

monitoring.enabled: true

#在kibana中隐藏Stack Monitoring功能。

monitoring.ui.enabled: true

 

参考文档:https://www.elastic.co/guide/en/kibana/7.10/monitoring-settings-kb.html#monitoring-general-settings

 

Logstash

 

在配置文件 logstash.yml 开启


# X-Pack Monitoring
# https://www.elastic.co/guide/en/logstash/current/monitoring-logstash.html
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]
xpack.monitoring.elasticsearch.username: elasticsearch
xpack.monitoring.elasticsearch.password: password

Beats:Filebeat、Metricbeat

 

在配置文件 filebeat.yml 或 metricbeat.yml 中开启


monitoring.enabled: true
#monitoring.cluster_uuid:
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password


APM

 

在配置文件 apm-server.yml 中开启


monitoring.enabled: true
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password

从某种程度上讲 AMP Server 其实就是另外一种 Beat。对于它的监控和 Beats 完全是一样的。

 


 

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
Web App开发 移动开发 前端开发
重磅推荐六款优秀的开源协作编辑工具
重磅推荐六款优秀的开源协作编辑工具
4126 0
重磅推荐六款优秀的开源协作编辑工具
|
算法 安全 调度
多线程如何工作,工作原理是什么
多线程如何工作,工作原理是什么
|
10月前
|
人工智能 算法 架构师
想入行 AI Agent?一文理清职业路线与核心技能(附避坑指南)
AI Agent工程师≠大模型调参师!其核心是“系统中心”思维:设计认知架构、管理记忆系统、集成工具与多Agent协作。职业路径分三层——原型落地(0-1年)、企业级系统(1-3年)、底层突破(3年+)。掌握此范式,方能驾驭下一代意图式交互与数字劳动力革命。(239字)
2338 1
|
算法 Java Go
运行时管理GO与Java的概要对比
【5月更文挑战第17天】本文介绍Go、Python和Java的运行时机制各异。Go是编译型语言,其runtime负责内存管理、GC和协程调度,强调性能和低延迟。Java的JVM兼顾跨平台和性能,使用字节码和JIT编译,其GC策略复杂且高效。三种语言在设计和优化上各有侧重,适用不同场景。
634 3
|
SQL 关系型数据库 数据库
SQL Server语法基础:入门到精通
SQL Server语法基础:入门到精通
955 9
SQL Server语法基础:入门到精通
|
存储 网络安全 API
|
Java Apache Maven
Java将word文档转换成pdf文件的方法?
【10月更文挑战第13天】Java将word文档转换成pdf文件的方法?
6211 1
|
网络协议 Linux
[原创]分析解决lvs fullnat模式下后端服务器获取真实IP地址异常问题
分析解决lvs fullnat模式下少量的请求记录client IP不是用户真实的IP地址问题.
8519 0
|
传感器 存储 算法
pid巡线
“【5月更文挑战第25天】”
1164 7
|
机器学习/深度学习 算法 调度

热门文章

最新文章