使用数据加工将Log转成Metric

简介: # 使用数据加工将Log转成Metric ## 云原生时代的可观察性 我们关注应用运行起来后的运行时数据,主要有Log、Trace和Metric 这3大类。 Log是离散的事件,Trace可以认为是带请求追踪的事件,Metric是带统计量的事件。 ![img1.jpg](https://ata2-img.oss-cn-zhangjiakou.aliyuncs.com/2a55f

使用数据加工将Log转成Metric

云原生时代的可观察性

我们关注应用运行起来后的运行时数据,主要有Log、Trace和Metric 这3大类。

Log是离散的事件,Trace可以认为是带请求追踪的事件,Metric是带统计量的事件。
img1.jpg

本质上Log、Trace、Metric都是事件,存储上满足事件存储的系统都可以用来存储这3类数据。

阿里云SLS为运行时数据提供了两种存储:Logstore和Metricstore。

  • Logstore:适合存储Log和Trace
  • Metricstore:适合存储Metric

SLS Metricstore针对时序场景做了大量优化,提供PromQL查询能力,支持Prometheus协议。

SLS Metricstore 详细介绍请参考官方链接, PromQL查询语言请参考官方链接

Log转Metric

很多应用的Log数据往往比Metric全面。 经常存在这样的场景: 把Log中的数据转换为Metric。

前面提到,Metric可以认为是特定格式的Log,因此在SLS里可以将Log转换为Metric。

常见的Log转Metric的方法可以有两种:

img2.jpg

  • 聚合日志产生指标,类似sql做group by以后产生对应的统计值. 对应SLS ScheduleSQL功能
  • 将日志格式做格式转换,使其符合Metric格式. 对应SLS数据加工e_to_metric场景

本文主要介绍第二种的场景,即日志按行处理转化为Metric的格式

阿里云SLS 数据加工简介

数据加工服务是SLS推出的面向日志行处理的服务,主要为日志的规整、过滤、富化等场景设计
img3.jpg

SLS数据加工DSL是专门为日志实时行处理定制的一套语言(类Python)。目前支持200+的行处理函数,可以参考官网文档

本文主要介绍Log转Metric的函数 e_to_metric

Log转Metric实战

Step1 – 创建Metricstore

首先来建一个Metricstore用于接受指标数据

  • 创建Metricstore,界面操作

img4.jpg

  • Grafana配置访问Metricstore, 以便使用Grafana查询Metricstore数据, 进入Grafana首页

Configuration -> Data Sources -> Add Data Source, 选择Prometheus -> URL的组成格式如下

https://${Endpoint}/prometheus/${Project}/${Metricstore}/

# Endpoint、Project、 Metricstore分别做相应替换

Auth -> Basic auth要enable起来,Basic Auth Details输入阿里云AccesskeyID和AccesskeySecret

img5.jpg

Metricstore创建好了,那么如何向Metricstore写入指标数据呢?

可以看到下面的格式来写入, 见文档 Metricstore格式
img6.jpg

可以看到,Metricstore要求数据写入必须符合一定的格式,

对于Log格式转Metric格式的场景,可以使用数据加工函数e_to_metric来实现.

接下来以Nginx日志中的request_time等指标为例,演示如何将Log转换成Metricstore的格式

Step2 - 第一个Log转Metric任务

先来看一下用于演示的Nginx日志, 我们的目标是将建立Nginx的request_time指标

img7.jpg

  • 点开Nginx日志的logstore,进入查询分析页面后,可以看到“数据加工”的入口,点击进入

img8.jpg

  • 看到数据加工IDE界面后,在IDE里编写DSL语句实现生成request_time指标

img9.jpg

数据加工实现日志转Metric主要由 e_to_metric 来实现, 函数参数要求如下,完整帮助参考 链接

e_to_metric(names=None, labels=None, time=None)
# names字段用于指定指标名称字段,指定该字段后指标的值也会取Log中该字段名的值
# labels字段用于指定指标label字段
# time字段不填,自动使用logstore中的__time__时间

我们只需要建立一个指标叫request_time,并且指标取值也是request_time的值,因此加工语句如下

e_to_metric(names="request_time")

点一下快速预览,看一下效果
preview1.jpg

可以看到生成了request_time指标,并且没有Label(后面有更多样例演示如何增加Label,我们先走通最简单的)

  • 保存加工任务, 存储目标的目标库请选择刚才第一步创建的Metricstore

img10.jpg

Step3 – 查询Metricstore

加工任务保存后,等几分钟后数据会写入Metricstore,然后可以在Grafana里查询Metric。

输入PromQL查询,直接输入metricname即可查询

request_time

img11.jpg

Log转Metric - 更多样例

  • 带上Label
e_to_metric(names="request_time",labels="slbid")

img12.jpg

  • 将Log中的多个值转化为指标
e_to_metric(names=["request_time","upstream_response_time"],labels="slbid")

img13.jpg

  • 多个Label
e_to_metric(names=["request_time","upstream_response_time"],labels=["slbid","scheme"])

img14.jpg

  • Metric重命名
e_to_metric(names=[("request_time","rt"),"upstream_response_time"],labels=["slbid","scheme"])

img15.jpg

  • Label重命名
e_to_metric(names=[("request_time","rt"),"upstream_response_time"],labels=["slbid",("scheme","http_type")])

img16.jpg

小结

本文通过数据加工的e_to_metric函数演示了如何将Log转化成Metric, 希望对看官的可观察性场景有帮助。

SLS提供了可观察性的整体方案,积极跟进OpenTelemetry标准,有任何问题欢迎和我们交流。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
3758 126
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
993 66
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1777 1
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
2077 4
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
1271 0
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
848 9
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1700 55