带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (2) https://developer.aliyun.com/article/1228350

3.5.12.Monitoring及Central Management


创作人:高冬冬

审稿人:刘帅

 

Management

 

Monitoring

 

Monitoring 就是跟踪和监控 Elastic Stack 各个组件的实时运行状况和性能指标;当监控一个集群时,不仅要采集 Elasticsearch 节点的指标,而且要采集集群相关的 Logstash 节点,

Kibana 实例以及各种 Beats 节点的性能指标甚至还要通过 Filebeat 采集集群日志,存储在 Elasticsearch 集群中,以便可以通过 Kibana 可视化,实时监控各种组件和节点的实时运行状态。

 

两种监控方案

 

l 组件自身监控

l Metricbeat 监控

 

组件自身监控

 

开启快捷简单,无需额外组件,收集采集指标会占用组件自身资源;


image.png

默认情况下,每一个 Elastic Stack 组件自身都包含一个内置的 agent 负责采集数据

image.png


配置方式

 

Elasticsearch

 

在 Elasticsearch 集群中监控采集配置默认关闭的 xpack.monitoring.collection.enabled :

false

 

1、通过 Kibana 开启

l 打开 Kibana

l 进入 Management-->Stack Monitoring

l 点击 Turn on monitoring


image.png



2、通过 API 开启


GET _cluster/settings
PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

3、Elasticsearch 的其他配置

 

在节点的配置文件 elasticsearch.yml 更多配置

 

image.png

image.png


参考文献:https://www.elastic.co/guide/en/elasticsearch/reference/7.10/monitoring-settings.html

 

Kibana

 

在配置文件 kibana.yml 开启

 

#是否开启Kibana NodeJS server指标采集

monitoring.kibana.collection.enabled: true

#采集频率(ms),默认10s

monitoring.kibana.collection.interval: 10000

#指定监控指标存储远程ES集群

monitoring.ui.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]

#远程ES集群的账号和密码

monitoring.ui.elasticsearch.username: elasticsearch

monitoring.ui.elasticsearch.password: changeme

#控制monitoring后端的运行和kibana运行状态的监控

monitoring.enabled: true

#在kibana中隐藏Stack Monitoring功能。

monitoring.ui.enabled: true

 

参考文档:https://www.elastic.co/guide/en/kibana/7.10/monitoring-settings-kb.html#monitoring-general-settings

 

Logstash

 

在配置文件 logstash.yml 开启


# X-Pack Monitoring
# https://www.elastic.co/guide/en/logstash/current/monitoring-logstash.html
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]
xpack.monitoring.elasticsearch.username: elasticsearch
xpack.monitoring.elasticsearch.password: password

Beats:Filebeat、Metricbeat

 

在配置文件 filebeat.yml 或 metricbeat.yml 中开启


monitoring.enabled: true
#monitoring.cluster_uuid:
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password


APM

 

在配置文件 apm-server.yml 中开启


monitoring.enabled: true
monitoring.elasticsearch.hosts: ["https://es1:9200"]
monitoring.elasticsearch.username: filebeat_system
monitoring.elasticsearch.password: password

从某种程度上讲 AMP Server 其实就是另外一种 Beat。对于它的监控和 Beats 完全是一样的。

 


 

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
资源调度 Apache 流计算
Yarn命令详细介绍
Yarn命令详细介绍
775 2
|
存储 缓存 Java
Elasticesearch内存详解(四)——indexing buffer
介绍elasticsearch的indexing buffer
1726 0
Elasticesearch内存详解(四)——indexing buffer
|
存储 Java API
Elasticsearch 7.8.0从入门到精通
这篇文章详细介绍了Elasticsearch 7.8.0的安装、核心概念(如正排索引和倒排索引)、RESTful风格、各种索引和文档操作、条件查询、聚合查询以及在Spring Boot中整合Elasticsearch的步骤和示例。
732 1
Elasticsearch 7.8.0从入门到精通
|
缓存 负载均衡 监控
探秘数据库中间件:ProxySQL与MaxScale的优势与劣势
探秘数据库中间件:ProxySQL与MaxScale的优势与劣势
862 2
|
SQL Prometheus 监控
统一观测丨使用 Prometheus 监控 SQL Server 最佳实践
统一观测丨使用 Prometheus 监控 SQL Server 最佳实践
2481 113
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)
详细讲解了Hadoop YARN资源管理中的容量调度器(Yahoo!的Capacity Scheduler),包括队列和子队列的概念、Apache Hadoop的容量调度器默认队列、队列的命名规则、分层队列、容量保证、队列弹性、容量调度器的元素、集群如何分配资源、限制用户容量、限制应用程序数量、抢占申请、启用容量调度器以及队列状态管理等方面的内容。
662 3
|
Java Shell Nacos
centos7.x使用nacos2.1.0(解决JAVA_HOME、javac报错)
centos7.x使用nacos2.1.0(解决JAVA_HOME、javac报错)
845 1
|
机器学习/深度学习 算法 调度
|
网络协议 Linux
[原创]分析解决lvs fullnat模式下后端服务器获取真实IP地址异常问题
分析解决lvs fullnat模式下少量的请求记录client IP不是用户真实的IP地址问题.
8260 0
|
资源调度 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.14 安装YARN+MR
本文为HDP集群中YARN+MapReduce安装与配置指南,涵盖资源调度、高可用部署、权限管理及常见问题处理,结合Ranger实现细粒度访问控制,并提供测试案例与常用命令,助力高效构建稳定大数据计算平台。
1123 0

热门文章

最新文章

下一篇
开通oss服务