[SLS开源兼容系列] 使用Grafana ES插件访问SLS

本文涉及的产品
性能测试 PTS,5000VUM额度
应用实时监控服务-用户体验监控,每月100OCU免费额度
函数计算FC,每月15万CU 3个月
简介: 场景如果您厌倦了使用SQL来做Grafana图表,现在SLS刚好实现了ES接口兼容,可以使用GrafanaES来连。可以获得以下特性不需要安装GrafanaSLS的插件,使用Grafana自带的ES插件即可使用ES插件配置图表,不需要写SQL就可以快速配置漂亮的图表

场景

如果您厌倦了使用SQL来做Grafana图表,现在SLS刚好实现了ES接口兼容,可以使用Grafana ES来连。

可以获得以下特性

  • 不需要安装Grafana SLS的插件,使用Grafana自带的ES插件即可
  • 使用ES插件配置图表,不需要写SQL就可以快速配置漂亮的图表

使用方法

部署一个Grafana(已有的话就跳过)

假设你已经有一个部署好的Grafana 8.x或9.x ,如果还没有Grafana,用容器启动一个也非常方便。

docker run --name grafana -d -p 3000:3000 grafana/grafana:9.5.5

对应机器的http://机器ip:3000 即可访问到Grafana

配置数据源

  1. 登录Grafana控制台。
  2. 找到DataSouce配置入口,选择DataSource类型为Elasticsearch

  1. 在数据源配置页参考如下方式配置



URL格式为 https://${project}.${slsEndpoint}/es/ ,假设我们的project名字为etl-dev 同时广州的endpoint是 cn-huhehaote.log.aliyuncs.com

那么对应的URL为https://etl-dev.cn-huhehaote.log.aliyuncs.com/es/

注意要开启Basic Auth, User/Password 填写 阿里云AccessKeyId和AccessKeySecret



Index Name的格式是 ${project}.${logstore},  比如我的project名字为etl-dev,logstore名字为accesslog,那么index名字为etl-dev.accesslog

注意如果是8.x的Grafana需要选择版本为 7.10+

配置图表

选好数据源默认就出图了

下面以Nginx访问日志为例看一下配置

整体qps曲线

在Query框中可以填写过滤条件,语法是ES Lucene的语法

统计status为200的曲线

在Query中输入status: 200 即可查询满足这个条件的曲线

统计Top请求的URI

Group By点+ 选择 Terms,字段为request_uri

统计RT 分位数

metric选择 Percentiles并选择upstream_response_time字段, 在Values中可以选择具体的分位数值,比如50,95,99

按Top请求URI看RT 分位数

点+增加Group By Terms,选择request_uri,metric选择Percentiles并选择upstream_response_time字段

看非200的Top请求URI

点+增加Group By Terms,选择request_uri


看非200的Top请求URI以及对应的Method

相比上面增加配置request_method的group by


小结

通过以上演示可以看到,其核心逻辑主要就3点:

  • group by选择维度
  • metric选择要统计的指标
  • query为过滤条件,过滤出想要的数据

通过ES的插件对接SLS的ES兼容接口,可以很方便地做图表可视化,而无需写SQL。

期待大家的使用~


参考链接

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
2天前
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
53 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
22天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
2月前
|
Web App开发 存储 监控
iLogtail 开源两周年:UC 工程师分享日志查询服务建设实践案例
本文为 iLogtail 开源两周年的实践案例分享,讨论了 iLogtail 作为日志采集工具的优势,包括它在性能上超越 Filebeat 的能力,并通过一系列优化解决了在生产环境中替换 Filebeat 和 Logstash 时遇到的挑战。
136 14
|
1月前
|
存储 运维 监控
开源日志Graylog
【10月更文挑战第21天】
186 8
|
1月前
|
存储 监控 安全
|
1月前
|
存储 数据采集 监控
开源日志Fluentd
【10月更文挑战第21天】
48 7
|
1月前
|
存储 数据采集 监控
开源日志分析Elasticsearch
【10月更文挑战第22天】
50 5
|
1月前
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
44 3
|
1月前
|
存储 JSON 监控
开源日志分析Logstash
【10月更文挑战第22天】
55 1
|
1月前
|
存储 运维 监控
开源日志分析工具
【10月更文挑战第20天】
96 3

相关产品

  • 可观测可视化 Grafana 版