日志服务数据加工:控制台操作

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000 次 1年
简介: 本文介绍日志服务数据加工的控制台的基本操作步骤

功能入口

进入Logstore页面,通过加工菜单右边的+号直接进入数据加工模式,如下图1所示。
image

图1 Logstore页面加工入口

或者进入查询页面,手动切换到数据加工模式,如下图2所示。
image图2 查询页面切换加工模式

加工效果预览

进入数据加工模式之后,通过如下步骤进行调试:
1)选择时间的范围,确保对应时间范围内有日志接入。注意: 这里选择的时间是日志接收时间为准.
2)在代码编辑框编辑加工规则,规则语法参考加工规则
3)点击预览,等待返回加工结果。在首次点击预览时,需要输入AccessKey 用于消费源Logstore中的数据。
4)等待加工结果返回。
image

图 3 加工界面

结果展示区中的输出目标对应加工规则中的输出目标。如果加工规则存在语法错误或者Access Key不合法等原因导致加工失败,会提示如下错误信息:
image

图 4 异常日志

创建任务

如果规则预览符合预期结果,点击保存数据加工按钮保存为加工任务,如下图5所示。
image

图 5 创建加工任务

在左侧弹窗中输入加工任务必需的配置:
image

图 6 创建加工任务

除了所需的Access key 之外,还需要输入任务名称,存储目标和加工范围等信息。

1)存储目标

加工规则结果支持输出到多个Logstore,每个存储目标对应一个当前Project或者当前地域内其他Project内的Logstore,需要提供用于写入数据的Access Key。
注意: 在加工规则中可以通过存储目标名称进行引用, 在加工规则中不指定目标的情况下, 默认会输出到第一个配置的目标中. 
注意:目前只支持相同地域的Project。

限制

  • 目前只支持相同地域的Project,
  • 最多20个固定目标. 如果希望存储更多目标, 且动态配置. 可以参考动态多目标分发.
  • 存储目标的长度: 4~64, 字符集: 任意

2)加工范围

加工过范围对应三种类型:

  • 所有:对Logstore中的数据从开始位置持续加工,直到任务被手动停止。
  • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到任务被手动停止。
  • 特定时间范围:指定任务的起止时间,加工到结束时间之后自动结束。
  • 注意: 时间是以日志接收时间为准.

3)高级参数配置

对于加工规则代码中需要使用的密码信息,如数据库连接密码等,可以以Key-Value的形式保存在密钥对中,在代码中通过变量引用res_local("key")的方式进行使用。
某些特殊配置项,例如简单的维表信息也可以存储于高级秘钥配置中. 具体参考资源.

加工规则保存之后自动开始运行。

限制

  • 目前支持最多10个参数对
  • 关键字: 最大长度100, 字符集[a-zA-Z0-9u4E00-u9FA5 ._-]
  • 值: 最大长度2000, 字符集任意

任务管理

加工任务创建后,可以从左侧导航栏源logstore的数据加工中直接找到对应的任务, 如图:
image

也可以在源logstore的的数据处理下加工下找到对应任务, 如下图7所示。
image

图 7 加工任务管理

操作

image

停止

对于运行中的任务,点击任务列表右侧操作栏的停止按钮,可以停止任务。
注意:停止任务会保存当前的加工位置,如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行,请参考 重新执行。

启动

对于状态为停止的任务,点击任务列表右侧操作栏的启动按钮,可以继续开始执行加工。

重新执行

任务在任何状态都可以通过点击列表右侧的重新执行按钮来重新执行任务,重新执行不会从已经加工结束的位置继续运行,而是从头开始执行。如果希望继续之前的位置加工可以参考停止任务和启动任务。

修改规则

通过修改按钮可以进入加工规则配置页面,重新调试规则后,可以通过修改配置按钮修改。
注意: 如果在修改了代码之后希望能够使用新的代码继续运行,需要停止任务,再启动任务。控制台会在修改时会提示进行这样的操作.

删除

如图7所示,点击任务列表右侧操作栏的删除按钮,可以删除任务。

任务状态

加工任务可能的状态有:启动中,运行中,停止中,已停止,成功,失败。各个状态和允许的操作如下表所示:

状态操作 停止 启动 重新运行 修改 删除
启动中 支持 支持
运行中 支持 支持 支持 支持
停止中 支持 支持
已停止 支持 支持 支持 支持
成功 支持 支持 支持
失败 支持 支持 支持

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
1月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
469 50
|
1月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
152 17
|
2月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
376 1
|
5月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
6月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
516 117
|
2月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
227 0
|
2月前
|
数据采集 运维 监控
|
4月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
514 4
|
5月前
|
Java 应用服务中间件 Linux
Tomcat运行日志字符错乱/项目启动时控制台日志乱码问题
总结: 通过以上几种方法,概括如下:指定编码格式、设置JVM的文件编码、修改控制台输出编码、修正JSP页面编码和设置过滤器。遵循这些步骤,你可以依次排查和解决Tomcat运行日志字符错乱及项目启动时控制台日志乱码问题。希望这些建议能对你的问题提供有效的解决方案。
1097 16

相关产品

  • 日志服务
  • 下一篇
    开通oss服务