日志服务数据加工:控制台操作

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文介绍日志服务数据加工的控制台的基本操作步骤

功能入口

进入Logstore页面,通过加工菜单右边的+号直接进入数据加工模式,如下图1所示。
image

图1 Logstore页面加工入口

或者进入查询页面,手动切换到数据加工模式,如下图2所示。
image图2 查询页面切换加工模式

加工效果预览

进入数据加工模式之后,通过如下步骤进行调试:
1)选择时间的范围,确保对应时间范围内有日志接入。注意: 这里选择的时间是日志接收时间为准.
2)在代码编辑框编辑加工规则,规则语法参考加工规则
3)点击预览,等待返回加工结果。在首次点击预览时,需要输入AccessKey 用于消费源Logstore中的数据。
4)等待加工结果返回。
image

图 3 加工界面

结果展示区中的输出目标对应加工规则中的输出目标。如果加工规则存在语法错误或者Access Key不合法等原因导致加工失败,会提示如下错误信息:
image

图 4 异常日志

创建任务

如果规则预览符合预期结果,点击保存数据加工按钮保存为加工任务,如下图5所示。
image

图 5 创建加工任务

在左侧弹窗中输入加工任务必需的配置:
image

图 6 创建加工任务

除了所需的Access key 之外,还需要输入任务名称,存储目标和加工范围等信息。

1)存储目标

加工规则结果支持输出到多个Logstore,每个存储目标对应一个当前Project或者当前地域内其他Project内的Logstore,需要提供用于写入数据的Access Key。
注意: 在加工规则中可以通过存储目标名称进行引用, 在加工规则中不指定目标的情况下, 默认会输出到第一个配置的目标中. 
注意:目前只支持相同地域的Project。

限制

  • 目前只支持相同地域的Project,
  • 最多20个固定目标. 如果希望存储更多目标, 且动态配置. 可以参考动态多目标分发.
  • 存储目标的长度: 4~64, 字符集: 任意

2)加工范围

加工过范围对应三种类型:

  • 所有:对Logstore中的数据从开始位置持续加工,直到任务被手动停止。
  • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到任务被手动停止。
  • 特定时间范围:指定任务的起止时间,加工到结束时间之后自动结束。
  • 注意: 时间是以日志接收时间为准.

3)高级参数配置

对于加工规则代码中需要使用的密码信息,如数据库连接密码等,可以以Key-Value的形式保存在密钥对中,在代码中通过变量引用res_local("key")的方式进行使用。
某些特殊配置项,例如简单的维表信息也可以存储于高级秘钥配置中. 具体参考资源.

加工规则保存之后自动开始运行。

限制

  • 目前支持最多10个参数对
  • 关键字: 最大长度100, 字符集[a-zA-Z0-9u4E00-u9FA5 ._-]
  • 值: 最大长度2000, 字符集任意

任务管理

加工任务创建后,可以从左侧导航栏源logstore的数据加工中直接找到对应的任务, 如图:
image

也可以在源logstore的的数据处理下加工下找到对应任务, 如下图7所示。
image

图 7 加工任务管理

操作

image

停止

对于运行中的任务,点击任务列表右侧操作栏的停止按钮,可以停止任务。
注意:停止任务会保存当前的加工位置,如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行,请参考 重新执行。

启动

对于状态为停止的任务,点击任务列表右侧操作栏的启动按钮,可以继续开始执行加工。

重新执行

任务在任何状态都可以通过点击列表右侧的重新执行按钮来重新执行任务,重新执行不会从已经加工结束的位置继续运行,而是从头开始执行。如果希望继续之前的位置加工可以参考停止任务和启动任务。

修改规则

通过修改按钮可以进入加工规则配置页面,重新调试规则后,可以通过修改配置按钮修改。
注意: 如果在修改了代码之后希望能够使用新的代码继续运行,需要停止任务,再启动任务。控制台会在修改时会提示进行这样的操作.

删除

如图7所示,点击任务列表右侧操作栏的删除按钮,可以删除任务。

任务状态

加工任务可能的状态有:启动中,运行中,停止中,已停止,成功,失败。各个状态和允许的操作如下表所示:

状态操作 停止 启动 重新运行 修改 删除
启动中 支持 支持
运行中 支持 支持 支持 支持
停止中 支持 支持
已停止 支持 支持 支持 支持
成功 支持 支持 支持
失败 支持 支持 支持

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
6天前
|
弹性计算 Serverless 应用服务中间件
Serverless 应用引擎操作报错合集之集成sls时出现报错,是什么导致的
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第9天】mongoDB查看数据的插入日志
317 4
|
1月前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第2天】mongoDB查看数据的插入日志
323 0
|
6天前
|
NoSQL 数据管理 关系型数据库
数据管理DMS操作报错合集之控制台查看Redis时出现乱码是什么导致的
数据管理DMS(Data Management Service)是阿里云提供的数据库管理和运维服务,它支持多种数据库类型,包括RDS、PolarDB、MongoDB等。在使用DMS进行数据库操作时,可能会遇到各种报错情况。以下是一些常见的DMS操作报错及其可能的原因与解决措施的合集。
|
11天前
|
Java 数据库连接 数据库
Spring日志完结篇,MyBatis操作数据库(入门)
Spring日志完结篇,MyBatis操作数据库(入门)
|
22天前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第22天】mongoDB查看数据的插入日志
28 3
|
24天前
|
iOS开发
XCode控制台调试无法看到函数跟踪或无法看到输出的日志问题及解决方案
XCode控制台调试无法看到函数跟踪或无法看到输出的日志问题及解决方案
27 0
|
24天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
25天前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

相关产品

  • 日志服务