日志服务数据加工:功能概述-阿里云开发者社区

开发者社区> 成喆> 正文

日志服务数据加工:功能概述

简介: 日志服务数据加工:功能概述
+关注继续查看

概述

日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重索引等场景。

条件

  • 区域:所有Region

主要支持场景

场景1 – 数据规整(一对一)

对数据进行规范化、富化、重索引等:

image

场景2 – 数据分派(一对多)

对数据进行规整后做动态分发:
image

场景3 – 多源汇集(多对一)

支持跨账号同Region下操作数据,并汇总数据:
image

场景4 – 常规数据加工场景

全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。

提供了200多个内置高阶函数以及400多个正则表达式模式,不需要写代码即可完成大部分的数据加工任务,同时提供灵活自定义函数(UDF)的能力,满足各种场景:image

  • 过滤(filter):将特定的日志去掉
  • 分裂(split):将一条日志变成多条
  • 转换(transform):字段操作、内容转换等
  • 富化(enrich):关联外部资源,丰富字段信息等
  • 聚合(Rollup)(待上线):特定维度做聚集,减少日志量
  • 自定义操作(待上线):以上自定义操作,如SQL模式解析、自定义Agg操作等

优势

  1. 一站式托管的数据加工方案,实时可靠, 高性能, 免运维、自动扩展。
  2. 更快速简单的接入:通过各种渠道,只需要用最简单的方式接入一个无索引,短期存储的logstore即可。
  3. 更快的查询与更灵活的分析:通过开箱即用的规则与简单的语法,即可完成复杂的加工,并使得加工好的数据基于索引可以更快的分析;
  4. 更多业务场景的可能:通过数据加工的富化、自定义加工等,可以进一步挖掘数据的价值,构建更高级的业务。
  5. 更灵活的投递与生态对接:可以更简单地配置符合生态需要的规则。

其他常见问题

费用问题

  • 读取源logstore与写入目标logstore按照日志服务的标准正常收取,加工服务本身消耗的机器与网络资源目前免费。
  • 根据情况,可以关闭源logstore的索引,并设置较短的保存时间。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10084 0
十分钟搭建基于日志服务和钉钉机器人的预警功能
十分钟搭建基于日志服务和钉钉机器人的预警功能,满足业务及运维的需求。灵活快速且执行成本低。
3313 0
日志服务数据加工:错误排查指南
日志服务数据加工:错误排查指南, 覆盖数据加工各个环节的错误与排查实践
8248 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10883 0
日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
1321 0
日志服务(原SLS)发布:仪表盘(Dashboard)功能
日志服务在9月推出仪表盘(Dashboard)功能,支持将查询分析语句进行可视化展示。
5596 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13890 0
SqlServer2008 新功能:简单数据加密
原文:SqlServer2008 新功能:简单数据加密 一、首先要把密码字段改成 varbinary 类型。 CREATE TABLE [dbo].[UserInfo]( [id] [int] IDENTITY(1,1) NOT NULL, [name] [varchar](50) N...
511 0
数据加工 - 跨Region传输功能介绍
本文介绍 数据加工 近期新推出的跨Region传输的功能,帮助大家快速了解该功能
2428 0
+关注
成喆
不忘初心 方得始终
101
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载