日志服务数据加工:功能概述-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

日志服务数据加工:功能概述

简介: 日志服务数据加工:功能概述

概述

日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重索引等场景。

条件

  • 区域:所有Region

主要支持场景

场景1 – 数据规整(一对一)

对数据进行规范化、富化、重索引等:

image

场景2 – 数据分派(一对多)

对数据进行规整后做动态分发:
image

场景3 – 多源汇集(多对一)

支持跨账号同Region下操作数据,并汇总数据:
image

场景4 – 常规数据加工场景

全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。

提供了200多个内置高阶函数以及400多个正则表达式模式,不需要写代码即可完成大部分的数据加工任务,同时提供灵活自定义函数(UDF)的能力,满足各种场景:image

  • 过滤(filter):将特定的日志去掉
  • 分裂(split):将一条日志变成多条
  • 转换(transform):字段操作、内容转换等
  • 富化(enrich):关联外部资源,丰富字段信息等
  • 聚合(Rollup)(待上线):特定维度做聚集,减少日志量
  • 自定义操作(待上线):以上自定义操作,如SQL模式解析、自定义Agg操作等

优势

  1. 一站式托管的数据加工方案,实时可靠, 高性能, 免运维、自动扩展。
  2. 更快速简单的接入:通过各种渠道,只需要用最简单的方式接入一个无索引,短期存储的logstore即可。
  3. 更快的查询与更灵活的分析:通过开箱即用的规则与简单的语法,即可完成复杂的加工,并使得加工好的数据基于索引可以更快的分析;
  4. 更多业务场景的可能:通过数据加工的富化、自定义加工等,可以进一步挖掘数据的价值,构建更高级的业务。
  5. 更灵活的投递与生态对接:可以更简单地配置符合生态需要的规则。

其他常见问题

费用问题

  • 读取源logstore与写入目标logstore按照日志服务的标准正常收取,加工服务本身消耗的机器与网络资源目前免费。
  • 根据情况,可以关闭源logstore的索引,并设置较短的保存时间。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接