SLS【数据加工】调试手册-阿里云开发者社区

开发者社区> 开发与运维> 正文

SLS【数据加工】调试手册

简介: SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

简介

SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。

  • 快速预览可免费、快速检验数据加工脚本语法正确性,验证加工规则的输出结果是否符合预期,并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的资源,如果在加工过程中涉及到函数资源,您可以在维表页签中输入测试数据进行预览。
  • 高级预览会产生一定的流量,计入数据加工费用。建议您通过快速预览确认输出结果符合预期后,使用高级预览完整测试资源函数的配置准确性。

下表是这两种预览方式的对比:

预览方式 计费 预览速度 自定义输入数据 完整加工流程
快速预览 免费 极快 支持 否(不会连接资源函数指定的资源)
高级预览 按流量 一般 不支持

快速预览

  1. 在右上角选择“快速”选项。
  2. 加工脚本编辑器左下方,在“原始日志”标签页中,我们可以看到当前logstore内存储的原始数据。
  3. 对于每一条原始数据,我们都可以选择将其“加入预览数据”。
    6D8CD5FD-75C1-4964-9F0D-C58B7FFAAAEF.png
  4. 选择好原始数据以后,选择“测试数据”标签页,这里面包含了“数据”和“维表”两个子标签页。
  5. 选择“数据”子标签页,这里可以看到,已经从原始数据中选择的数据条目。我们特可以输入自定义数据
    7069584E-30B3-4DCC-865D-550D6895F54A.png

说明:

单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式,通过`,识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式,其中KV格式数据使用冒号(:)连接字段名和字段值。

样例:包含2条测试数目,第1条是KV格式(包含1个跨行字段traceback),第2条是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}
  1. 选择“维表”子标签页,如果加工脚本里面包含了资源函数,我们可以在这里指定每个资源函数对应的资源内容。
    43DDDD69-F74D-4659-AC04-7F8061FE41B2.png

说明 在维表页签中配置的测试数据,如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式,如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式,也可以为JSON格式。

样例:包含2条测试数据,第1条是CSV格式,第2条是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]
  1. 点击右上角“预览数据”按钮,开始预览任务。
  2. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    0CC4200C-BA35-4F18-9AF0-E98B6DC174BB.png

高级预览

  1. 在右上角选择“高级”选项。
  2. 点击右上角“预览数据”按钮,开始预览任务。
  3. 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
    EC556DE2-695D-4E33-BD19-0E80C0BEF8A1.png

因为高级预览会执行完整的数据加工流程,所以需要授权 SLS 读取源 logstore 内存储的数据作为教工的原始数据。授权配置参考官方文档
FA48E3E7-4EE5-42AD-9788-C3A3A1D3F677.png

后记

以上就是使用 SLS【数据加工】功能时,需要为数据加工授权的详细步骤。如果您在使用 SLS 过程中有任何问题,请加入我们钉钉服务群,也欢迎关注 SLS 的微信技术公众号和B站视频号。

QR.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章