使用数据加工进行logstore日志流转-阿里云开发者社区

开发者社区> 云计算> 正文

使用数据加工进行logstore日志流转

简介: 介绍如何使用数据加工对logstore数据进行一对一、一对多、多对一地拷贝

数据加工简介

数据加工是阿里云SLS推出的一项Serverless的功能,主要解决日志行实时处理的场景,目前提供了200+的DSL算子。 详细的加工介绍请参考https://help.aliyun.com/document_detail/125384.html

image.png

Logstore日志流转常见的场景

image.png

日志流转案例 - logstore日志字段过滤复制

案例

A部门有一份敏感日志,由于业务需要, B部门需要访问A部门的日志中的部分字段。为了安全起见,A部门可以使用数据加工实现Logstore对拷, 并过滤掉敏感字段,并且使用RAM授权的方式,给B部门授权

解决方案

使用数据加工 一对一拷贝的功能,并且使用DSL语句进行一定字段的过滤
image.png

加工语句范例

e_keep_fields("filed1","field2",regex=False)

日志流转案例 - 多种格式揉杂的logstore,日志拆分

案例

服务A有一份日志,应用程序打的日志格式并不统一。
当有关键词xx的时候,具备格式 x
当有关键词yy的时候,具备格式 y
由于格式差异较大,冗杂在一个logstore里不利于搜索查询; 比如最后需要投递到oss数据湖进行进一步查询分析

解决方案

使用数据加工一对多的分发能力可以解决以上问题
image.png

加工语句范例

e_if(e_match("http_code", "500"), e_output(name="logstore1"))
e_if(e_match("http_code", "200"), e_output(name="logstore2"))
e_drop()

日志流转案例 - 跨Region复制

案例

公司的业务在各个Region都有部署,查询logstore的时候,需要到不同Project下进行查询,给开发运维带来不便。
使用数据加工将logstore 跨Region写出到中心化的logstore

解决方案

使用数据加工跨Region传输的能力,进行多对一的logstore复制
image.png

加工语句范例

加工语句直接为空,配置时设定好目标logstore即可

小结

使用数据加工对logstore进行数据流转,具备以下几点能力(可根据业务场景进行任意组合)

  1. 支持流转时数据处理(转化、过滤、富化等,200+DSL函数)
  2. 支持一对一、一对多、多对一进行流转
  3. 支持同一个账号、跨账号的场景
  4. 支持同Region、跨Region的场景
  5. 支持一次性 数据服务, 也支持流式持续复制

参考

  1. sls数据加工 http://help.aliyun.com/document_detail/125384.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

其他文章