SLS【数据加工】调试手册

简介: SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

简介

SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

  • 快速预览可免费、快速检验数据加工脚本语法正确性,验证加工规则的输出结果是否符合预期,并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的资源,如果在加工过程中涉及到函数资源,您可以在维表页签中输入测试数据进行预览。
  • 高级预览会产生一定的流量,计入数据加工费用。建议您通过快速预览确认输出结果符合预期后,使用高级预览完整测试资源函数的配置准确性。

下表是这两种预览方式的对比:

预览方式 计费 预览速度 自定义输入数据 完整加工流程
快速预览 免费 极快 支持 否(不会连接资源函数指定的资源)
高级预览 按流量 一般 不支持 是

快速预览

  1. 在右上角选择“快速”选项。
  2. 加工脚本编辑器左下方,在“原始日志”标签页中,我们可以看到当前logstore内存储的原始数据。
  3. 对于每一条原始数据,我们都可以选择将其“加入预览数据”。
    6D8CD5FD-75C1-4964-9F0D-C58B7FFAAAEF.png
  4. 选择好原始数据以后,选择“测试数据”标签页,这里面包含了“数据”和“维表”两个子标签页。
  5. 选择“数据”子标签页,这里可以看到,已经从原始数据中选择的数据条目。我们特可以输入自定义数据
    7069584E-30B3-4DCC-865D-550D6895F54A.png

说明:

单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式,通过`,识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式,其中KV格式数据使用冒号(:)连接字段名和字段值。

样例:包含2条测试数目,第1条是KV格式(包含1个跨行字段traceback),第2条是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}
  1. 选择“维表”子标签页,如果加工脚本里面包含了资源函数,我们可以在这里指定每个资源函数对应的资源内容。
    43DDDD69-F74D-4659-AC04-7F8061FE41B2.png

说明 在维表页签中配置的测试数据,如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式,如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式,也可以为JSON格式。

样例:包含2条测试数据,第1条是CSV格式,第2条是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]
  1. 点击右上角“预览数据”按钮,开始预览任务。
  2. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    0CC4200C-BA35-4F18-9AF0-E98B6DC174BB.png

高级预览

  1. 在右上角选择“高级”选项。
  2. 点击右上角“预览数据”按钮,开始预览任务。
  3. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    EC556DE2-695D-4E33-BD19-0E80C0BEF8A1.png

因为高级预览会执行完整的数据加工流程,所以需要授权 SLS 读取源 logstore 内存储的数据作为教工的原始数据。授权配置参考官方文档。
FA48E3E7-4EE5-42AD-9788-C3A3A1D3F677.png

后记

以上就是使用 SLS【数据加工】功能时,需要为数据加工授权的详细步骤。如果您在使用 SLS 过程中有任何问题,请加入我们钉钉服务群,也欢迎关注 SLS 的微信技术公众号和B站视频号。

QR.png

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
3639 126
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
974 66
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
1313 118
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1734 1
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
2053 4
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
1221 0
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
610 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件