开发者社区> 张天天天天> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

日志数据预处理与投递

简介: 在我们做数据投递的时候,可能需要先对数据做一定的加工处理,像数据字段的保留、删除、改名,打包等操作,加工完成之后然后我们再投递到相应的服务中。
+关注继续查看

背景介绍

什么是日志服务?

日志服务是针对日志类数据的一站式服,像Log、Metric这类数据我们可以提供大规模、低成本、实时的平台化服务。它的应用场景非常多,像一些监控、分析、诊断都可以通过日志服务去实现,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立DT时代海量日志处理能力

image

什么是数据加工?

数据加工是日志服务推出的一项功能,是面向日志进行实时的处理,实时性高且功能丰富。数据加工目前提供了两百多种DSL算子用作数据处理,我们可以在数据加工中根据需求做数据过滤、转换、复制、富化、分裂等操作。

image

什么是数据投递?

数据投递是指将日志服务采集的数据投递至OSS、ADB、MaxCompute等其他阿里云产品中,便于您长期存储数据或联合其它系统消费数据。

image

数据加工与投递

在我们做数据投递的时候,可能需要先对数据做一定的加工处理,像数据字段的保留、删除、改名,打包等操作,加工完成之后然后我们再投递到相应的服务中。
image

场景实例

这里有一个场景,在数据投递之前我们需要对左边的原始日志做一些加工处理,右边的日志是我们投递需要的日志,图中包含了三个加工场景。

image场景使用字段操作函数解决示范

场景1:字段重命名操作

image

场景2:字段删除操作

image

image



场景3:字段打包操作

image

image


字段操作函数介绍

image


FAQ

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
数据分析--数据预处理
数据分析--数据预处理
19 0
数据处理 | 图谱精选课程
带你走入结构化查询语言
143 0
数据预处理(精品原创)
参考我的云笔记分享链接:     http://note.youdao.com/noteshare?id=b3fafb4c4c8f2e70afb1621e5b097ed6&sub=E9531545BEAC41F78B24F9372115AFF0 ...
695 0
日志处理方案
环境:springboot 日志:logback 可以实现不同业务的日志在不同文件里存放 依赖 org.springframework.boot spring-boot-starter-logging 自定义配置 在resources目录下建立logback-spring.
853 0
函数计算-处理容器中的网络访问日志
本文主要介绍如何使用函数计算处理容器服务收集上来的 web 服务器日志,分析出日志后存入新的日志库。进阶篇介绍了如何基于云市场 API 解析日志中的 IP 字段,并将结果作为 API 对接到 API 网关当中
3345 0
Struts2中的数据处理的三种方式对比
对数据操作的所有方法:(即把数据保存到域中) 主要使用的是方式2和方式3; 方式1:直接获取ServletApi,核心类是ServletActionContext提供的静态的方法; 方式2:通过ActionContext获取不同(代表request/session/application)的map; 方式3:实现接口的方法:(RequestAware/SessionAware/
1241 0
+关注
张天天天天
nothing
文章
问答
文章排行榜
最热
最新
相关电子书
更多
零基础实现Flume收集网站日志数据到MaxCompute
立即下载
数据采集:日志数据上传
立即下载
日志数据采集与分析对接
立即下载