[SLS开源兼容系列] 使用Grafana ES插件访问SLS

简介: 场景如果您厌倦了使用SQL来做Grafana图表,现在SLS刚好实现了ES接口兼容,可以使用GrafanaES来连。可以获得以下特性不需要安装GrafanaSLS的插件,使用Grafana自带的ES插件即可使用ES插件配置图表,不需要写SQL就可以快速配置漂亮的图表

场景

如果您厌倦了使用SQL来做Grafana图表,现在SLS刚好实现了ES接口兼容,可以使用Grafana ES来连。

可以获得以下特性

  • 不需要安装Grafana SLS的插件,使用Grafana自带的ES插件即可
  • 使用ES插件配置图表,不需要写SQL就可以快速配置漂亮的图表

使用方法

部署一个Grafana(已有的话就跳过)

假设你已经有一个部署好的Grafana 8.x或9.x ,如果还没有Grafana,用容器启动一个也非常方便。

docker run --name grafana -d -p 3000:3000 grafana/grafana:9.5.5

对应机器的http://机器ip:3000 即可访问到Grafana

配置数据源

  1. 登录Grafana控制台。
  2. 找到DataSouce配置入口,选择DataSource类型为Elasticsearch

  1. 在数据源配置页参考如下方式配置



URL格式为 https://${project}.${slsEndpoint}/es/ ,假设我们的project名字为etl-dev 同时广州的endpoint是 cn-huhehaote.log.aliyuncs.com

那么对应的URL为https://etl-dev.cn-huhehaote.log.aliyuncs.com/es/

注意要开启Basic Auth, User/Password 填写 阿里云AccessKeyId和AccessKeySecret



Index Name的格式是 ${project}.${logstore},  比如我的project名字为etl-dev,logstore名字为accesslog,那么index名字为etl-dev.accesslog

注意如果是8.x的Grafana需要选择版本为 7.10+

配置图表

选好数据源默认就出图了

下面以Nginx访问日志为例看一下配置

整体qps曲线

在Query框中可以填写过滤条件,语法是ES Lucene的语法

统计status为200的曲线

在Query中输入status: 200 即可查询满足这个条件的曲线

统计Top请求的URI

Group By点+ 选择 Terms,字段为request_uri

统计RT 分位数

metric选择 Percentiles并选择upstream_response_time字段, 在Values中可以选择具体的分位数值,比如50,95,99

按Top请求URI看RT 分位数

点+增加Group By Terms,选择request_uri,metric选择Percentiles并选择upstream_response_time字段

看非200的Top请求URI

点+增加Group By Terms,选择request_uri


看非200的Top请求URI以及对应的Method

相比上面增加配置request_method的group by


小结

通过以上演示可以看到,其核心逻辑主要就3点:

  • group by选择维度
  • metric选择要统计的指标
  • query为过滤条件,过滤出想要的数据

通过ES的插件对接SLS的ES兼容接口,可以很方便地做图表可视化,而无需写SQL。

期待大家的使用~


参考链接

目录
相关文章
|
12月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
384 2
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
5413 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
存储 人工智能 JSON
RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
RAG Logger 是一款专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、检索结果记录、LLM 交互记录和性能监控等功能。
875 7
RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
803 2
|
人工智能 算法 数据挖掘
开源更新|通义3D-Speaker多说话人日志功能
开源更新|通义3D-Speaker多说话人日志功能
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
1691 3
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
742 3
|
存储 JSON 监控
开源日志分析Logstash
【10月更文挑战第22天】
578 1
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
753 9
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1611 55

相关产品

  • 可观测可视化 Grafana 版
  • 推荐镜像

    更多