SLS【数据加工】调试手册

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

简介

SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

  • 快速预览可免费、快速检验数据加工脚本语法正确性,验证加工规则的输出结果是否符合预期,并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的资源,如果在加工过程中涉及到函数资源,您可以在维表页签中输入测试数据进行预览。
  • 高级预览会产生一定的流量,计入数据加工费用。建议您通过快速预览确认输出结果符合预期后,使用高级预览完整测试资源函数的配置准确性。

下表是这两种预览方式的对比:

预览方式 计费 预览速度 自定义输入数据 完整加工流程
快速预览 免费 极快 支持 否(不会连接资源函数指定的资源)
高级预览 按流量 一般 不支持

快速预览

  1. 在右上角选择“快速”选项。
  2. 加工脚本编辑器左下方,在“原始日志”标签页中,我们可以看到当前logstore内存储的原始数据。
  3. 对于每一条原始数据,我们都可以选择将其“加入预览数据”。
    6D8CD5FD-75C1-4964-9F0D-C58B7FFAAAEF.png
  4. 选择好原始数据以后,选择“测试数据”标签页,这里面包含了“数据”和“维表”两个子标签页。
  5. 选择“数据”子标签页,这里可以看到,已经从原始数据中选择的数据条目。我们特可以输入自定义数据
    7069584E-30B3-4DCC-865D-550D6895F54A.png

说明:

单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式,通过`,识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式,其中KV格式数据使用冒号(:)连接字段名和字段值。

样例:包含2条测试数目,第1条是KV格式(包含1个跨行字段traceback),第2条是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}
  1. 选择“维表”子标签页,如果加工脚本里面包含了资源函数,我们可以在这里指定每个资源函数对应的资源内容。
    43DDDD69-F74D-4659-AC04-7F8061FE41B2.png

说明 在维表页签中配置的测试数据,如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式,如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式,也可以为JSON格式。

样例:包含2条测试数据,第1条是CSV格式,第2条是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]
  1. 点击右上角“预览数据”按钮,开始预览任务。
  2. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    0CC4200C-BA35-4F18-9AF0-E98B6DC174BB.png

高级预览

  1. 在右上角选择“高级”选项。
  2. 点击右上角“预览数据”按钮,开始预览任务。
  3. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    EC556DE2-695D-4E33-BD19-0E80C0BEF8A1.png

因为高级预览会执行完整的数据加工流程,所以需要授权 SLS 读取源 logstore 内存储的数据作为教工的原始数据。授权配置参考官方文档
FA48E3E7-4EE5-42AD-9788-C3A3A1D3F677.png

后记

以上就是使用 SLS【数据加工】功能时,需要为数据加工授权的详细步骤。如果您在使用 SLS 过程中有任何问题,请加入我们钉钉服务群,也欢迎关注 SLS 的微信技术公众号和B站视频号。

QR.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
117 40
|
1天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
35 11
|
7天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
13 0
|
7天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
38 0
|
4月前
|
SQL 关系型数据库 MySQL
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
38 0
|
7天前
|
存储 数据库 流计算
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
111 0
|
5月前
|
存储 数据采集 监控
从存储统一到数据融合,SLS在可观测场景的思考和行动
介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。
127617 52
|
6月前
|
存储 JSON 监控
日志分析:内网监控系统数据与ELK堆栈
日志分析一直是信息技术领域中至关重要的一项任务。随着互联网的不断发展,组织和企业积累了大量的数据,而其中很大一部分是日志数据。这些日志数据包含了系统的运行状态、事件发生记录以及性能指标,为了更好地理解和管理这些数据,ELK堆栈(Elasticsearch、Logstash和Kibana)成为了一种非常强大的工具。本文将探讨如何使用ELK堆栈进行内网监控系统数据的分析,同时提供一些代码示例来演示其功能和用法。
246 0
|
7月前
|
运维 监控 安全
使用日志数据的方式
使用日志数据的方式
44 0
|
7月前
|
人工智能 运维 监控
在日常开发工作中,日志数据该如何利用?
在日常开发工作中,日志数据是一个宝贵的资源,它可以提供关于应用程序运行状态、错误报告、性能指标和用户行为等方面的重要信息。正确地利用和分析日志数据可以帮助开发人员更好地理解应用程序的运行情况,快速定位和解决问题,改进应用程序的性能,并为业务决策提供有力支持。尤其是在现代科技发展的背景下,日志数据作为一种重要的信息资源,对于运维工作具有极大的价值。然而,如何充分利用日志数据,并将其应用于运维和开发工作中,仍然是许多企业和运维和开发人员关注的问题。那么本文就来分享一下在日常开发中关于日志数据的利用方面的探讨。
130 1
在日常开发工作中,日志数据该如何利用?

热门文章

最新文章