日志服务数据加工:控制台操作

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文介绍日志服务数据加工的控制台的基本操作步骤
+关注继续查看

功能入口

进入Logstore页面,通过加工菜单右边的+号直接进入数据加工模式,如下图1所示。
image

图1 Logstore页面加工入口

或者进入查询页面,手动切换到数据加工模式,如下图2所示。
image图2 查询页面切换加工模式

加工效果预览

进入数据加工模式之后,通过如下步骤进行调试:
1)选择时间的范围,确保对应时间范围内有日志接入。注意: 这里选择的时间是日志接收时间为准.
2)在代码编辑框编辑加工规则,规则语法参考加工规则
3)点击预览,等待返回加工结果。在首次点击预览时,需要输入AccessKey 用于消费源Logstore中的数据。
4)等待加工结果返回。
image

图 3 加工界面

结果展示区中的输出目标对应加工规则中的输出目标。如果加工规则存在语法错误或者Access Key不合法等原因导致加工失败,会提示如下错误信息:
image

图 4 异常日志

创建任务

如果规则预览符合预期结果,点击保存数据加工按钮保存为加工任务,如下图5所示。
image

图 5 创建加工任务

在左侧弹窗中输入加工任务必需的配置:
image

图 6 创建加工任务

除了所需的Access key 之外,还需要输入任务名称,存储目标和加工范围等信息。

1)存储目标

加工规则结果支持输出到多个Logstore,每个存储目标对应一个当前Project或者当前地域内其他Project内的Logstore,需要提供用于写入数据的Access Key。
注意: 在加工规则中可以通过存储目标名称进行引用, 在加工规则中不指定目标的情况下, 默认会输出到第一个配置的目标中. 
注意:目前只支持相同地域的Project。

限制

  • 目前只支持相同地域的Project,
  • 最多20个固定目标. 如果希望存储更多目标, 且动态配置. 可以参考动态多目标分发.
  • 存储目标的长度: 4~64, 字符集: 任意

2)加工范围

加工过范围对应三种类型:

  • 所有:对Logstore中的数据从开始位置持续加工,直到任务被手动停止。
  • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到任务被手动停止。
  • 特定时间范围:指定任务的起止时间,加工到结束时间之后自动结束。
  • 注意: 时间是以日志接收时间为准.

3)高级参数配置

对于加工规则代码中需要使用的密码信息,如数据库连接密码等,可以以Key-Value的形式保存在密钥对中,在代码中通过变量引用res_local("key")的方式进行使用。
某些特殊配置项,例如简单的维表信息也可以存储于高级秘钥配置中. 具体参考资源.

加工规则保存之后自动开始运行。

限制

  • 目前支持最多10个参数对
  • 关键字: 最大长度100, 字符集[a-zA-Z0-9u4E00-u9FA5 ._-]
  • 值: 最大长度2000, 字符集任意

任务管理

加工任务创建后,可以从左侧导航栏源logstore的数据加工中直接找到对应的任务, 如图:
image

也可以在源logstore的的数据处理下加工下找到对应任务, 如下图7所示。
image

图 7 加工任务管理

操作

image

停止

对于运行中的任务,点击任务列表右侧操作栏的停止按钮,可以停止任务。
注意:停止任务会保存当前的加工位置,如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行,请参考 重新执行。

启动

对于状态为停止的任务,点击任务列表右侧操作栏的启动按钮,可以继续开始执行加工。

重新执行

任务在任何状态都可以通过点击列表右侧的重新执行按钮来重新执行任务,重新执行不会从已经加工结束的位置继续运行,而是从头开始执行。如果希望继续之前的位置加工可以参考停止任务和启动任务。

修改规则

通过修改按钮可以进入加工规则配置页面,重新调试规则后,可以通过修改配置按钮修改。
注意: 如果在修改了代码之后希望能够使用新的代码继续运行,需要停止任务,再启动任务。控制台会在修改时会提示进行这样的操作.

删除

如图7所示,点击任务列表右侧操作栏的删除按钮,可以删除任务。

任务状态

加工任务可能的状态有:启动中,运行中,停止中,已停止,成功,失败。各个状态和允许的操作如下表所示:

状态操作 停止 启动 重新运行 修改 删除
启动中 支持 支持
运行中 支持 支持 支持 支持
停止中 支持 支持
已停止 支持 支持 支持 支持
成功 支持 支持 支持
失败 支持 支持 支持

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
27天前
|
监控 Java
Springboot开发系统记录操作日志
Springboot开发系统记录操作日志
31 3
|
2月前
|
存储 运维 监控
如何在 Spring Boot 中设计和实现业务操作日志功能?
如何在 Spring Boot 中设计和实现业务操作日志功能?
667 4
|
4月前
java202304java学习笔记第五十八天员工管理-Aop基础-记录操作日志4
java202304java学习笔记第五十八天员工管理-Aop基础-记录操作日志4
34 0
|
5月前
|
关系型数据库 MySQL 数据库
MYSQL查看操作日志
MYSQL查看操作日志
167 0
|
5月前
|
关系型数据库 PostgreSQL
PostgreSQL事务提交日志与CLOG操作初步认识
PostgreSQL事务提交日志与CLOG操作初步认识
83 0
|
5月前
|
SQL XML 前端开发
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
66 0
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
|
5月前
|
XML 存储 SQL
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)1
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)1
91 0
|
5月前
|
canal 存储 缓存
如何优雅的记录操作日志
操作日志几乎存在于每个系统中,而这些系统都有记录操作日志的一套 API。操作日志和系统日志不一样,操作日志必须要做到简单易懂。所以如何让操作日志不跟业务逻辑耦合,如何让操作日志的内容易于理解,如何让操作日志的接入更加简单?上面这些都是本文要回答的问题。我们主要围绕着如何“优雅”地记录操作日志展开描述,希望对从事相关工作的同学能够有所帮助或者启发。
151 0
如何优雅的记录操作日志
|
5月前
|
存储 XML JSON
一个注解,搞定 SpringBoot 操作日志
一个注解,搞定 SpringBoot 操作日志
一个注解,搞定 SpringBoot 操作日志
|
6月前
java202304java学习笔记第五十八天员工管理-Aop基础-记录操作日志4
java202304java学习笔记第五十八天员工管理-Aop基础-记录操作日志4
45 0
相关产品
日志服务
推荐文章
更多