大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

Hadoop(已更完)

HDFS(已更完)

MapReduce(已更完)

Hive(已更完)

Flume(已更完)

Sqoop(已更完)

Zookeeper(已更完)

HBase(已更完)

Redis (已更完)

Kafka(已更完)

Spark(已更完)

Flink(已更完)

ClickHouse(已更完)

Kudu(已更完)

Druid(已更完)

Kylin(已更完)

Elasticsearch(正在更新…)

章节内容

上节我们完成了如下的内容:


Elasticsearch 集群模式

集群模式配置 启动 测试

70579a17b3ffb22ddacd3dc0dd03b289_0bedb2be7409447fbaea106a39f15028.png ES-Head插件

为了我们测试和学习的方便,我们要安装一个叫:Elasticsearch Head插件。

它是一个界面化的集群操作和管理工具,可以对集群进行傻瓜式操作,你可以通过把插件把它集成到ES。


ES-Head主要是三个方面的操作:


显示集群的拓扑,能够快速访问并显示集群的状态,并且能够执行索引和节点级别的操作。

搜索接口能够查询集群中原始JSON或表格格式的检索数据

有一个输入窗口,允许任意调用RESTAPI

ES-Head 是一个用于 Elasticsearch 集群管理的开源可视化插件,帮助用户监控和管理集群状态、索引及数据分布。ES-Head 是轻量级的,界面简洁直观,适合开发者和运维人员实时观察集群运行状况。


官方地址

这是一个开源的插件:

https://github.com/mobz/elasticsearch-head

功能特点

集群健康监控

显示集群的健康状态(green、yellow、red)。

显示所有节点信息,包括主节点、副本节点状态。

索引管理

支持索引的查看、创建、删除、关闭和打开操作。

查看每个索引的元信息(例如文档数量、段数量、占用存储等)。

可以直接从界面更新索引的mapping和settings。

数据节点监控

显示每个节点的状态,包括已分配分片和未分配分片。

展示节点的硬件资源信息,如存储空间使用情况。

分片管理

可视化显示分片的分配情况。

支持查看未分配分片的原因,并手动重新分配分片。

RESTful 查询执行

提供查询编辑器,可以在插件中直接发送 RESTful 请求到集群。

支持 GET、POST、PUT、DELETE 等请求方法,帮助调试和验证 API。

索引分布可视化

提供分片在集群中的分布图,便于检查数据分布和副本均衡情况。

多集群支持

可以在一个界面管理多个集群,支持跨集群查看索引状态。

安装步骤

Elasticsearch-head是一个基于Node.js的前端工程,官方有可以运行的Elasticsearch-Head的方式,但是这里我们为了方便,就不从部署的方式去做了,直接用Chrome插件的方式:

https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

安装之后,可以看到一个这样的插件:

测试连接

我们填写地址之后,访问(里边本来空的,后来为了测试,启动了Kibana之后,测试的这个):

使用场景

开发和调试:开发者可以在插件界面直接发送 REST 请求,查看索引结构和数据。

实时监控集群健康:管理员可以通过插件快速发现集群中的问题(如未分配的分片、节点挂掉等)。

资源均衡优化:可视化查看分片分布,帮助进行负载均衡。

注意事项

由于 ES-Head 插件不需要登录认证,一旦对外开放接口,可能会存在安全风险。在生产环境中使用时,应通过 VPN 或防火墙限制访问权限。

在大规模集群中,数据过多可能会导致界面响应缓慢。

Kibana

官方地址

https://www.elastic.co/cn/support/matrix#matrix_os

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具,可以利用Elasticsearch的聚合功能,生成各种图标,如柱形图、线状图、饼图等。

而且还提供了操作Elasticsearch索引数据的控制台,并且提供了一定的API提示,非常有利于我们学习Elasticsearch的语法。

b5f22cdd41db39e4b489d2d2c275533a_5adee92ff20141389f29b54deac23558.png

核心功能

仪表盘(Dashboard)

将多个可视化图表集成到一个页面,形成实时动态的仪表盘。

支持图表拖拽、缩放和联动更新,方便数据展示。

数据探索(Discover)

提供灵活的搜索查询界面,可以按时间、字段和过滤条件进行数据检索。

支持使用 KQL(Kibana Query Language) 和 Lucene 语法 查询数据。

可视化(Visualizations)

支持创建多种类型的可视化图表,如柱状图、折线图、饼图、地图、热力图等。

可以将查询结果以图形方式展示,帮助更好地理解数据。

日志分析(Logs)

针对日志数据优化,支持快速查询和实时日志流分析。

适合用于系统运维、错误排查和日志监控。

监控(Monitoring)

可监控 Elasticsearch 集群和 Kibana 自身的运行状态,如集群健康状况、节点性能等。

可以帮助发现 Elasticsearch 集群中的瓶颈和问题。

安全性(Security)

支持用户认证和授权控制,与 Elasticsearch 的 X-Pack 安全插件集成。

可以基于角色和用户设置访问权限,确保数据安全。

告警(Alerting)

支持创建告警规则,基于查询结果触发事件(如错误日志或异常情况)。

可以将告警发送到电子邮件、Slack 或 Webhook。

机器学习(Machine Learning)

通过内置的机器学习功能,可以自动检测数据中的异常模式和趋势。

应用于日志分析、指标监控和预测分析。

Canvas

用于创建自定义的交互式报告和演示。

可以自定义图表样式和背景,适合数据驱动的商业演示。

Geo 可视化(Maps)

提供基于地理信息的可视化展示,支持 GeoJSON 数据。

用于展示与地理位置相关的数据,如用户分布、销售区域等。

安装步骤

(注意:我们要在ROOT用户下进行操作!)

我们现在项目并且上传(直接在服务器上下载也可以),上传到 h121 服务器上。

对应的截图内容如下:

解压配置

cd /opt/software
ls
tar -zxvf kibana-7.3.0-linux-x86_64.tar.gz
mv kibana-7.3.0-linux-x86_64 ../servers

对应的截图如下图所示:


改变Kibana目录拥有者账号:

chown -R es_server /opt/servers/kibana-7.3.0-linux-x86_64

此外,还需要设置访问权限:

chmod -R 777 /opt/servers/kibana-7.3.0-linux-x86_64

配置文件

修改配置文件:

vim /opt/servers/kibana-7.3.0-linux-x86_64/config/kibana.yml

在当中修改端口号等信息:


server.port: 5601
elasticsearch.hosts: ["http://h121.wzk.icu:9200"]
server.host: "0.0.0.0"
server.publicBaseUrl: "http://h122.wzk.icu:5601"

修改内容部分如下图所示:

启动服务

配置完成之后,我们切换用户进行启动:

su es_server
cd /opt/servers/kibana-7.3.0-linux-x86_64
bin/kibana

对应的截图如下:

访问服务

http://h122.wzk.icu:5601/

网页的页面如下:

(不一定有账号密码,高版本有要求,低版本直接进入就好)

账号密码是 elastic 和 elastic的密码(之前postman测试的那个)

我们点击右侧的:DevTool按钮,就可以进入 Kibana 提供的可视化工具了:

可以测试一下这些命令,发现是没问题的,以后的命令可以在这里测了:

使用场景

日志与系统监控

通过 Logstash 将日志文件发送到 Elasticsearch,使用 Kibana 实时监控系统日志和应用程序日志。

业务数据分析

在业务系统中,通过 Kibana 监控销售数据、客户数据等,支持企业决策。

异常检测与告警

使用 Kibana 监控系统性能或业务关键指标,当检测到异常时触发告警。

用户行为分析

监控网站或应用的用户行为,分析用户访问路径和流失率。


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
72 5
|
2天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
9 0
|
1月前
|
存储 JSON Java
ELK 圣经:Elasticsearch、Logstash、Kibana 从入门到精通
ELK是一套强大的日志管理和分析工具,广泛应用于日志监控、故障排查、业务分析等场景。本文档将详细介绍ELK的各个组件及其配置方法,帮助读者从零开始掌握ELK的使用。
|
1月前
|
存储 监控 安全
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
74 1
|
2月前
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
这篇文章是关于Elasticsearch全文搜索引擎的学习指南,涵盖了基本概念、命令风格、索引操作、分词器使用,以及数据的增加、修改、删除和查询等操作。
36 0
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
|
2月前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
217 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
|
4天前
|
监控 JavaScript 测试技术
postman接口测试工具详解
Postman是一个功能强大且易于使用的API测试工具。通过详细的介绍和实际示例,本文展示了Postman在API测试中的各种应用。无论是简单的请求发送,还是复杂的自动化测试和持续集成,Postman都提供了丰富的功能来满足用户的需求。希望本文能帮助您更好地理解和使用Postman,提高API测试的效率和质量。
30 11
|
1月前
|
JSON Java 测试技术
SpringCloud2023实战之接口服务测试工具SpringBootTest
SpringBootTest同时集成了JUnit Jupiter、AssertJ、Hamcrest测试辅助库,使得更容易编写但愿测试代码。
60 3
|
2月前
|
JSON 算法 数据可视化
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
这篇文章是关于如何通过算法接口返回的目标检测结果来计算性能指标的笔记。它涵盖了任务描述、指标分析(包括TP、FP、FN、TN、精准率和召回率),接口处理,数据集处理,以及如何使用实用工具进行文件操作和数据可视化。文章还提供了一些Python代码示例,用于处理图像文件、转换数据格式以及计算目标检测的性能指标。
77 0
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
下一篇
DataWorks