SLS 数据加工全面升级,集成 SPL 语法

简介: 在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。

1. 数据加工概述


在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾:输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。


  • 为了解决前者,保证服务的稳定和效率,提出了不同的高性能数据管道解决方案,比如阿里云 SLS 这样的云服务、还有 Kafka 这样的开源中间件。
  • 而对于后者,需要提供给下游规范化的、完整的数据,用于比如业务分析等场景,SLS 数据加工即是达成这一需求的功能。

image.png

如上图所示,SLS 数据加工的常见场景:


  • 规整:这是使用频率最高的场景,比如从文本日志数据中提取出关键信息,将其转为规范化的数据。
  • 富化:比如用户的点击数据中只包含商品 ID,在分析时需要从数据库关联起详细信息。
  • 脱敏:随着我国信息安全相关法律的完善,对于敏感数据(比如个人信息)的处理要求越来越高。
  • 分裂:在数据写出时,处于性能、便捷性考虑会将多条数据合并输出,在分析前则需要拆分出独立数据条目。
  • 分发:将不同类型的数据分别写到不同的特定目标中,以供下游定制化使用。


2. 新版数据加工提升

image.png

  • 集成 SPL,统一语法

SPL 是 SLS 为日志采集、交互式查询、流式消费、数据加工等数据处理的场景,提供的统一的数据处理语法,语法细节可参考 SPL 语法[1]。新版数据加工 SPL 编写过程支持按行调试和代码提示,更接近 IDE 编码体验。

  • 性能提升 10+ 倍,大数据量、数据洪峰处理更平滑

在处理无规则日志数据场景中,相同的处理复杂度,新版数据加工相对于旧版有 10+ 倍的性能提升,能够支撑更高的数据吞吐量。另外,通过调度系统的升级,面对平常流量上千倍的数据洪峰时,新版数据加工能够更加敏捷的实现计算并发扩展,尽可能减少洪峰带来的积压。

  • 成本更优,降至旧版 1/3

通过数据加工服务的技术迭代升级,新版数据加工提供了更具优势的使用成本,仅为旧版数据加工的 1/3。所以,在需求场景已经支持时,推荐使用数据加工(新版)。


3. 集成 SPL、统一语法


3.1 新版数据加工原理

新版数据加工通过托管实时数据消费的任务,结合日志服务 SPL 规则消费功能,实现对日志数据的实时加工处理,原理如下图。 image.png

  • 调度机制

对每一个加工任务,加工服务的调度器会启动一个或多个运行实例,并发执行数据处理,每个运行实例扮演一个消费者角色消费 1 个或者多个源 Logstore 的 Shard。调度器根据运行实例资源消耗、以及处理进度决定运行实例数目,实现弹性并发。单个任务的并发上限为源 Logstore 的 Shard 数量。

  • 运行实例

根据任务的 SPL 规则和目标 Logstore 等配置信息,从数据加工服务分配的 Shard 中,使用 SPL 规则消费源日志数据,将基于 SPL 规则处理后的结果分发写入对应的目标 Logstore。运行实例运行过程中,自动保存 Shard 的消费点位,确保任务停止重启时,从断点处继续消费。


3.2 SPL 语法对比旧版 DSL

相对于数据加工(旧版)DSL 语言,日志服务 SPL 语法提升了易用性,具体如下:


1. 数据加工(旧版)DSL 语法作为 Python 语法子集,需要函数式编程,使用过程中存在较多语法符号冗余。相较而言,日志服务 SPL 语言是类 Shell 指令式语法,在最大程度减少语法符号的冗余。如下案例:

  • 旧版本使用函数 v 引用字段值 v("field"),SPL 则直接引用字段,比如 | where field='ERROR'。
  • 旧版本函数调用 func(arg1, arg2),转为 SPL 指令 | cmd arg1, arg2,编写更简洁。

2. SPL 语言支持处理过程中临时字段类型保持,数据类型转换[2];与之相反,数据加工(旧版)DSL 的定义中,字段值固定为字符串类型,类型转换的中间结果不支持保留。比如,如下 DSL 脚本,需两次调用 ct_int 函数:


e_set("ms", ct_float(v("sec"))*1000)
e_keep(ct_float(v("ms")) > 500)


对应的 SPL 逻辑则更为简洁,无需两次转换类型,参考如下:


| extend ms=cast(sec as double)*1000
| where ms>1024


3. 另外,SPL 语言可以无缝使用日志服务 SQL 函数,无需额外的理解和学习成本,SPL 所支持的 SQL 函数参考 SQL 函数概览[3]


3.3 数据加工 SPL 代码调试

调试菜单

数据加工(新版)SPL 调试菜单参考 image.png ,菜单按钮定义如下:

  • 运行按钮:完整运行编辑框中的 SPL 规则。
  • 调试按钮:开启调试模式,并执行运行至第一个断点,开启后可以执行按行、或者断点调试。
  • 下个断点按钮:调试运行至下一个断点。
  • 下一行按钮:调试运行至下一行。
  • 停止调试按钮:停止当前调试过程。


代码编辑框的行号前的空白区域为断点区域,在断点区域单击鼠标,即可在单击点对应的行添加调试断点,效果如下图。单击已添加的调试断点,即可将其移除。

image.png

调试过程

1. 准备测试数据和编写 SPL 规则。

2. 在需要调试的行添加断点。

3. 单击调试按钮,开启调试模式,如下图。黄色背景行表示当前暂停的位置(语句未执行),蓝色背景行表示已经执行的 SPL 语句。 image.png

4. 在加工结果标签页中查看运行结果是否满足需求。

  • 如果符合需求:进入第 5 步,继续调试运行。
  • 否则,单击停止调试按钮,回到第 1 步,修改 SPL 规则,重新开始调试过程。

image.png


4. 持续迭代升级


接下来,新版数据加工将持续进行迭代升级,这里我们仅聊一下近期即将推出的两个升级。


1. 支撑完备的数据处理场景

目前新版数据加工专注于无规则数据处理场景,即偏计算型,对于数据流转场景暂未覆盖,比如数据分发至多目标或动态目标、维表富化、IP 解析、跨地域同步数据。


接下来,新版数据加工将着重支持这些场景,并通过架构升级,提供更稳定、更易用的服务,比如跨区域同步的加速能力、基于数据集的分发等。


2. 旧版数据加工任务无缝升级

对于线上在运行的旧版数据加工任务,需要应用如上所述的新版本提升,数据加工服务将从两个技术角度支撑已有任务的原地升级:


第一,数据加工服务保证数据的完整性,自动将当前的数据消费点位迁移至新版数据加工,升级后将从该点位继续消费数据。

第二,基于 AST 语法树解析,自动翻译旧版数据加工任务的 DSL 脚本,至同等数据处理逻辑的 SPL。


相关链接:

[1] SPL 语法

[2] 数据类型转换

[3] SQL 函数概览



作者:灵圣

作者介绍
目录