功能入口

进入Logstore页面，通过加工菜单右边的+号直接进入数据加工模式，如下图1所示。


图1 Logstore页面加工入口

或者进入查询页面，手动切换到数据加工模式，如下图2所示。
图2 查询页面切换加工模式

加工效果预览

进入数据加工模式之后，通过如下步骤进行调试：
1）选择时间的范围，确保对应时间范围内有日志接入。注意: 这里选择的时间是日志接收时间为准.
2）在代码编辑框编辑加工规则，规则语法参考加工规则。
3）点击预览，等待返回加工结果。在首次点击预览时，需要输入AccessKey 用于消费源Logstore中的数据。
4）等待加工结果返回。


图 3 加工界面

结果展示区中的输出目标对应加工规则中的输出目标。如果加工规则存在语法错误或者Access Key不合法等原因导致加工失败，会提示如下错误信息：


图 4 异常日志

创建任务

如果规则预览符合预期结果，点击保存数据加工按钮保存为加工任务，如下图5所示。


图 5 创建加工任务

在左侧弹窗中输入加工任务必需的配置：


图 6 创建加工任务

除了所需的Access key 之外，还需要输入任务名称，存储目标和加工范围等信息。

1）存储目标

加工规则结果支持输出到多个Logstore，每个存储目标对应一个当前Project或者当前地域内其他Project内的Logstore，需要提供用于写入数据的Access Key。
注意: 在加工规则中可以通过存储目标名称进行引用, 在加工规则中不指定目标的情况下, 默认会输出到第一个配置的目标中. 
注意：目前只支持相同地域的Project。

限制

• 目前只支持相同地域的Project,
• 最多20个固定目标. 如果希望存储更多目标, 且动态配置. 可以参考动态多目标分发.
• 存储目标的长度: 4~64, 字符集: 任意

2）加工范围

加工过范围对应三种类型：

• 所有：对Logstore中的数据从开始位置持续加工，直到任务被手动停止。
• 某时间开始：指定开始时间点，从该时间点对应的位置开始加工，直到任务被手动停止。
• 特定时间范围：指定任务的起止时间，加工到结束时间之后自动结束。
• 注意: 时间是以日志接收时间为准.

3）高级参数配置

对于加工规则代码中需要使用的密码信息，如数据库连接密码等，可以以Key-Value的形式保存在密钥对中，在代码中通过变量引用res_local("key")的方式进行使用。
某些特殊配置项,例如简单的维表信息也可以存储于高级秘钥配置中. 具体参考资源.

加工规则保存之后自动开始运行。

限制

• 目前支持最多10个参数对
• 关键字: 最大长度100, 字符集[a-zA-Z0-9u4E00-u9FA5 ._-]
• 值: 最大长度2000, 字符集任意

任务管理

加工任务创建后，可以从左侧导航栏源logstore的数据加工中直接找到对应的任务, 如图:

也可以在源logstore的的数据处理下加工下找到对应任务, 如下图7所示。


图 7 加工任务管理

操作

停止

对于运行中的任务，点击任务列表右侧操作栏的停止按钮，可以停止任务。
注意：停止任务会保存当前的加工位置，如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行，请参考 重新执行。

启动

对于状态为停止的任务，点击任务列表右侧操作栏的启动按钮，可以继续开始执行加工。

重新执行

任务在任何状态都可以通过点击列表右侧的重新执行按钮来重新执行任务，重新执行不会从已经加工结束的位置继续运行，而是从头开始执行。如果希望继续之前的位置加工可以参考停止任务和启动任务。

修改规则

通过修改按钮可以进入加工规则配置页面，重新调试规则后，可以通过修改配置按钮修改。
注意： 如果在修改了代码之后希望能够使用新的代码继续运行，需要停止任务，再启动任务。控制台会在修改时会提示进行这样的操作.

删除

如图7所示，点击任务列表右侧操作栏的删除按钮，可以删除任务。

任务状态

加工任务可能的状态有：启动中，运行中，停止中，已停止，成功，失败。各个状态和允许的操作如下表所示：

进一步参考

• 日志服务最佳实践汇总(持续更新)
• 完整DSL语法介绍与参考PDF下载(持续更新)

• 数据加工指南

  • 介绍:

    • 功能概述
    • 概念
    • 原理

  • 快速开始:

    • 快速开始（SLB日志加工实战）
    • 控制台操作
    • 源与目标访问秘钥配置
    • 作业诊断指南
    • 性能指南
    • 成本优化指南

  • 语法:

    • DSL语法介绍
    • 查询字符串语法
    • JMES语法介绍

  • 管理配置:

    • 子账号授权配置

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持: