《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (3) https://developer.aliyun.com/article/1228349
Central Management
开发工具,包括一些可以方便用户和集群中数据进行交互探索分析的工具。
Console终端
使用 Elasticsearch 的 REST API 进行交互,包含发送请求和查看 API 文档。
如上图所示,在 console 里面执行类似 CRUL 的命令,点击语句后面的➡️执行,即可在右侧栏中实时查看结果:
1、支持 GET,PUT,POST,DELETE 四种命令。
2、支持包含写入,搜索,集群,节点和索引状态等等 Elasticsearch 相关的所有 API。
3、输入命令行时,支持自动补全。
4、支持自动格式化(Auto indent)。
5、支持查看 API 文档(Open documention)。
6、支持查看执行命令历史记录(点击History)。
7、设置 console 配置。
8、关闭 console:
在 Kibana 的配置文件 kibana.yml 配置如下:
console.enabled: false
然后重启 Kibana 即可。
查询分析器
检查并分析您的搜索查询。
Elasticsearch 具有功能强大的 Profile API,可用于检查和分析您的搜索查询。响应返回一个较大的JSON Blob,可能很难手动对其进行分析。
Search Profiler 工具可以将此 JSON 输出转换为易于浏览的可视化文件,从而使你可以更快地诊断和调试效果不佳的查询。
Query Profile
l 顶级BooleanQuery组件和 query 中 bool 相对应。
l 第二个BooleanQuery对应于条件查询,该条件在内部转换为一个Boolean 的 should 子句,它有两个子查询,分别与terms query中的 “sue” 和 “sally” 相对应。
l 在TermQuery标有 “name:fred” 这是对应于 match: fred 在查询中。
如图你可以看到每一行的 Self time 和 Total time 都是不一样的,Self time 表示查询组件执行所需的时间。Total time 是查询组件及其所有子组件执行所花费的时间。因此,诸如
Boolean queries 之类的查询的总时间通常比 Self time 长。
Aggregation
点击 Aggregation Profile 去查看聚合的性能统计信息,
选择 shard 查看聚合详细信息和时序分布。
Grok调试器
在数据处理管道中使用 grok 模式之前,请先对其进行构建和调试。
您可以在 Kibana Grok 调试器中构建和调试 grok 模式, 然后再在数据处理管道中使用它们。Grok 是一种模式匹配语法,可用于解析任意文本并对其进行结构化。Grok 非常适合解析 syslog,apache 和其他 Web 服务器日志,MySQL 日志,以及具备可读性的任何日志格式。
使用实例:
自定义模式:
如果默认的grok模式字典不包含你所需的模式,则可以使用Grok Debugger定义,测试和调试自定义模式。
Painless 实验室
实时实验和调试 Painless 脚本(beta功能)
此处不做过多的介绍。
采集管理
Logstash Pipelines管理
Logstash Pipelines 管理就是集中管理配置 Logstash pipeline,使其事件处理和结果调试可视化。
准备步骤如下:
l 安装对应版本的 Logstash(和 Elasticsearch 版本保持一致)
l 开启 Logstash 监控和集中管理
l 创建 Logstash Pipeline
l 验证 Pipelines 集中管理
安装 Logstash
#下载安装包 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz #解压到指定目录下 tar -zxvf logstash-7.10.0-linux-x86_64.tar.gz -C /opt/ #启动安装包 cd /opt/logstash-7.10.0 ./bin/logstash 第一次启动会启动失败,这个不用担心,因为没有对logstash进行任何配置。
开启监控和集中管理
开启 Logstash 监控的前提,请确保在 Elasticsearch 集群中启动xpack.monitoring.collection.enabled : true
通过 Kibana 启动方式如下:
《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (5) https://developer.aliyun.com/article/1228347