开发者社区> 成喆> 正文

日志服务数据加工:功能概述

简介: 日志服务数据加工:功能概述
+关注继续查看

概述

日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重索引等场景。

条件

  • 区域:所有Region

主要支持场景

场景1 – 数据规整(一对一)

对数据进行规范化、富化、重索引等:

image

场景2 – 数据分派(一对多)

对数据进行规整后做动态分发:
image

场景3 – 多源汇集(多对一)

支持跨账号同Region下操作数据,并汇总数据:
image

场景4 – 常规数据加工场景

全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。

提供了200多个内置高阶函数以及400多个正则表达式模式,不需要写代码即可完成大部分的数据加工任务,同时提供灵活自定义函数(UDF)的能力,满足各种场景:image

  • 过滤(filter):将特定的日志去掉
  • 分裂(split):将一条日志变成多条
  • 转换(transform):字段操作、内容转换等
  • 富化(enrich):关联外部资源,丰富字段信息等
  • 聚合(Rollup)(待上线):特定维度做聚集,减少日志量
  • 自定义操作(待上线):以上自定义操作,如SQL模式解析、自定义Agg操作等

优势

  1. 一站式托管的数据加工方案,实时可靠, 高性能, 免运维、自动扩展。
  2. 更快速简单的接入:通过各种渠道,只需要用最简单的方式接入一个无索引,短期存储的logstore即可。
  3. 更快的查询与更灵活的分析:通过开箱即用的规则与简单的语法,即可完成复杂的加工,并使得加工好的数据基于索引可以更快的分析;
  4. 更多业务场景的可能:通过数据加工的富化、自定义加工等,可以进一步挖掘数据的价值,构建更高级的业务。
  5. 更灵活的投递与生态对接:可以更简单地配置符合生态需要的规则。

其他常见问题

费用问题

  • 读取源logstore与写入目标logstore按照日志服务的标准正常收取,加工服务本身消耗的机器与网络资源目前免费。
  • 根据情况,可以关闭源logstore的索引,并设置较短的保存时间。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
日志服务(原SLS)发布:仪表盘(Dashboard)功能
日志服务在9月推出仪表盘(Dashboard)功能,支持将查询分析语句进行可视化展示。
5808 0
数据加工 - 跨Region传输功能介绍
本文介绍 数据加工 近期新推出的跨Region传输的功能,帮助大家快速了解该功能
2782 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
29168 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
13575 0
新功能:日志服务命令行工具ETL发布!
日志服务命令行工具ETL发布,解决数据采集、分析查询、投递归档、外部整合过程中的数据规整痛点,提供实时、可靠、可扩展、可管理的运行模式支持,以及全面简单的ETL规则,并支持丰富的扩展支持。
3208 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
20700 0
+关注
成喆
不忘初心 方得始终
101
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
相关文档: 混合云容灾服务 混合云备份服务 日志服务
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载