概述

日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务，广泛适用于数据的规整、富化、分发、汇总、重索引等场景。

条件

• 区域：所有Region

主要支持场景

场景1 – 数据规整（一对一）

对数据进行规范化、富化、重索引等：

场景2 – 数据分派（一对多）

对数据进行规整后做动态分发：

场景3 – 多源汇集（多对一）

支持跨账号同Region下操作数据，并汇总数据：

场景4 – 常规数据加工场景

全面覆盖数据加工的典型模式，包括过滤、分裂、转换、富化等。

提供了200多个内置高阶函数以及400多个正则表达式模式，不需要写代码即可完成大部分的数据加工任务，同时提供灵活自定义函数(UDF)的能力，满足各种场景：

• 过滤（filter）：将特定的日志去掉
• 分裂（split）：将一条日志变成多条
• 转换（transform）：字段操作、内容转换等
• 富化（enrich）：关联外部资源，丰富字段信息等
• 聚合（Rollup）（待上线）：特定维度做聚集，减少日志量
• 自定义操作（待上线）：以上自定义操作，如SQL模式解析、自定义Agg操作等

优势

1. 一站式托管的数据加工方案，实时可靠, 高性能, 免运维、自动扩展。
2. 更快速简单的接入：通过各种渠道，只需要用最简单的方式接入一个无索引，短期存储的logstore即可。
3. 更快的查询与更灵活的分析：通过开箱即用的规则与简单的语法，即可完成复杂的加工，并使得加工好的数据基于索引可以更快的分析；
4. 更多业务场景的可能：通过数据加工的富化、自定义加工等，可以进一步挖掘数据的价值，构建更高级的业务。
5. 更灵活的投递与生态对接：可以更简单地配置符合生态需要的规则。

其他常见问题

费用问题

• 读取源logstore与写入目标logstore按照日志服务的标准正常收取，加工服务本身消耗的机器与网络资源目前免费。
• 根据情况，可以关闭源logstore的索引，并设置较短的保存时间。

进一步参考

• 日志服务最佳实践汇总(持续更新)
• 完整DSL语法介绍与参考PDF下载(持续更新)

• 数据加工指南

  • 介绍:

    • 功能概述
    • 概念
    • 原理

  • 快速开始:

    • 快速开始（SLB日志加工实战）
    • 控制台操作
    • 源与目标访问秘钥配置
    • 作业诊断指南
    • 性能指南
    • 成本优化指南

  • 语法:

    • DSL语法介绍
    • 查询字符串语法
    • JMES语法介绍

  • 管理配置:

    • 子账号授权配置

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持: