带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (4)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (4)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (3) https://developer.aliyun.com/article/1228349


Central Management


开发工具,包括一些可以方便用户和集群中数据进行交互探索分析的工具

 

Console终端

 

使用 Elasticsearch 的 REST API 进行交互,包含发送请求和查看 API 文档


image.png


如上图所示,在 console 里面执行类似 CRUL 的命令,点击语句后面的➡️执行,即可在右侧栏中实时查看结果

 

1、支持 GET,PUT,POST,DELETE 四种命令

2、支持包含写入,搜索,集群,节点和索引状态等等 Elasticsearch 相关的所有 API

3、输入命令行时,支持自动补全

4、支持自动格式化(Auto indent)

5、支持查看 API 文档(Open documention)

6、支持查看执行命令历史记录(点击History)

7、设置 console 配置

 

image.png

8、关闭 console:

 

在 Kibana 的配置文件 kibana.yml 配置如下

 

console.enabled: false

 

然后重启 Kibana 即可

 

查询分析器

 

检查并分析您的搜索查询。

 

Elasticsearch 具有功能强大的 Profile API,可用于检查和分析您的搜索查询。响应返回一个较大的JSON Blob,可能很难手动对其进行分析。


Search Profiler 工具可以将此 JSON 输出转换为易于浏览的可视化文件,从而使可以更快地诊断和调试效果不佳的查询。

 

Query Profile


image.png



l 顶级BooleanQuery组件和 query 中 bool 相对应。

l 第二个BooleanQuery对应于条件查询,该条件在内部转换为一个Boolean 的 should 子句,它有两个子查询,分别与terms query中的 “sue” 和 “sally” 相对应。

l TermQuery标有 “name:fred” 这是对应于 match: fred 在查询中。

 

如图你可以看到每一行的 Self time 和 Total time 都是不一样的,Self time 表示查询组件执行所需的时间。Total time 是查询组件及其所有子组件执行所花费的时间。因此,诸如

Boolean queries 之类的查询的总时间通常比 Self time 长。

 

Aggregation

 

 

 

image.png


点击 Aggregation Profile 去查看聚合的性能统计信息,

 

选择 shard 查看聚合详细信息和时序分布。

 

Grok调试器

 

在数据处理管道中使用 grok 模式之前,请先对其进行构建和调试。

 

您可以在 Kibana Grok 调试器中构建和调试 grok 模式, 然后再在数据处理管道中使用它们。Grok 是一种模式匹配语法,可用于解析任意文本并对其进行结构化。Grok 非常适合解析 syslog,apache 和其他 Web 服务器日志,MySQL 日志,以及具备可读性的任何日志格式。

 

使用实例:

 

image.png


自定义模式:

 

如果默认的grok模式字典不包含你所需的模式,则可以使用Grok Debugger定义,测试和调试自定义模式。

image.png


Painless 实验室


实时实验和调试 Painless 脚本(beta功能)

 

此处不做过多的介绍。


采集管理

 

Logstash Pipelines管理

 

Logstash Pipelines 管理就是集中管理配置 Logstash pipeline,使其事件处理和结果调试可视化。

 

准备步骤如下:

 

l 安装对应版本的 Logstash(和 Elasticsearch 版本保持一致)

l 开启 Logstash 监控和集中管理

l 创建 Logstash Pipeline

l 验证 Pipelines 集中管理

 

安装 Logstash

 

#下载安装包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
#解压到指定目录下
tar -zxvf logstash-7.10.0-linux-x86_64.tar.gz -C /opt/
#启动安装包
cd /opt/logstash-7.10.0
./bin/logstash
第一次启动会启动失败,这个不用担心,因为没有对logstash进行任何配置。

开启监控和集中管理



开启 Logstash 监控的前提,请确保在 Elasticsearch 集群中启动xpack.monitoring.collection.enabled : true

 

通过 Kibana 启动方式如下:

 

image.png

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (5) https://developer.aliyun.com/article/1228347

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
存储 数据采集 监控
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
119 1
|
运维 监控 数据管理
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)
|
存储 监控 Java
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (3)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (3)
|
存储 监控 数据可视化
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (1)
150 0
|
缓存 数据管理 索引
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (6)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (6)
|
监控
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (5)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (5)
146 0
|
存储 API 项目管理
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
|
存储 缓存 安全
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
110 0
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
|
机器学习/深度学习
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)

热门文章

最新文章