SLS【数据加工】调试手册

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

简介

SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

  • 快速预览可免费、快速检验数据加工脚本语法正确性,验证加工规则的输出结果是否符合预期,并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的资源,如果在加工过程中涉及到函数资源,您可以在维表页签中输入测试数据进行预览。
  • 高级预览会产生一定的流量,计入数据加工费用。建议您通过快速预览确认输出结果符合预期后,使用高级预览完整测试资源函数的配置准确性。

下表是这两种预览方式的对比:

预览方式 计费 预览速度 自定义输入数据 完整加工流程
快速预览 免费 极快 支持 否(不会连接资源函数指定的资源)
高级预览 按流量 一般 不支持

快速预览

  1. 在右上角选择“快速”选项。
  2. 加工脚本编辑器左下方,在“原始日志”标签页中,我们可以看到当前logstore内存储的原始数据。
  3. 对于每一条原始数据,我们都可以选择将其“加入预览数据”。
    6D8CD5FD-75C1-4964-9F0D-C58B7FFAAAEF.png
  4. 选择好原始数据以后,选择“测试数据”标签页,这里面包含了“数据”和“维表”两个子标签页。
  5. 选择“数据”子标签页,这里可以看到,已经从原始数据中选择的数据条目。我们特可以输入自定义数据
    7069584E-30B3-4DCC-865D-550D6895F54A.png

说明:

单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式,通过`,识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式,其中KV格式数据使用冒号(:)连接字段名和字段值。

样例:包含2条测试数目,第1条是KV格式(包含1个跨行字段traceback),第2条是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}
  1. 选择“维表”子标签页,如果加工脚本里面包含了资源函数,我们可以在这里指定每个资源函数对应的资源内容。
    43DDDD69-F74D-4659-AC04-7F8061FE41B2.png

说明 在维表页签中配置的测试数据,如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式,如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式,也可以为JSON格式。

样例:包含2条测试数据,第1条是CSV格式,第2条是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]
  1. 点击右上角“预览数据”按钮,开始预览任务。
  2. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    0CC4200C-BA35-4F18-9AF0-E98B6DC174BB.png

高级预览

  1. 在右上角选择“高级”选项。
  2. 点击右上角“预览数据”按钮,开始预览任务。
  3. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    EC556DE2-695D-4E33-BD19-0E80C0BEF8A1.png

因为高级预览会执行完整的数据加工流程,所以需要授权 SLS 读取源 logstore 内存储的数据作为教工的原始数据。授权配置参考官方文档
FA48E3E7-4EE5-42AD-9788-C3A3A1D3F677.png

后记

以上就是使用 SLS【数据加工】功能时,需要为数据加工授权的详细步骤。如果您在使用 SLS 过程中有任何问题,请加入我们钉钉服务群,也欢迎关注 SLS 的微信技术公众号和B站视频号。

QR.png

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
4月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
22天前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
|
23天前
|
数据采集 运维 监控
|
5月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
468 117
|
3月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
310 4
|
10月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
328 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
11月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
184 2
|
10月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
148 0
|
12月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
474 3

热门文章

最新文章