开发者社区> 最佳实践小文> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云原生架构下日志服务数据预处理

简介: 某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦该客户以下几个典型场景: 场景一:跨地域/跨账号数据汇集 场景二:数据内容富化(join维表) 场景三:数据投递/归档、入湖分析 场景四:统一采集,按业务分发分析 场景五:数据监控与智能告警
+关注继续查看
直达最佳实践:【云原生架构下日志服务数据预处理
最佳实践频道:【最佳实践频道
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!

场景描述

某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦该客户以下几个典型场景:
场景一:跨地域/跨账号数据汇集
场景二:数据内容富化(join维表)
场景三:数据投递/归档、入湖分析
场景四:统一采集,按业务分发分析
场景五:数据监控与智能告警
基于这些场景,本篇实践会介绍对应的解决方案和最佳实践操作手册,方便用户快速快速对号入座,解决云原生架构下的常见日志难题。

方案优势

  • 数据规整:对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数仓计算。
  • 数据富化:日志(例如业务订单)与维表(例如用户信息MySQL表)进行字段join,为日志添加更多维度信息供分析。
  • 数据分发/汇聚:将全量日志按转发规则分别提取到多个下游存储供不同业务使用。
  • 监控告警:监控大规模数据,触发告警,支持机器学习算法(e.g:智能巡检),通过告警策略配置,对触发的告警进行降噪处理(去重、静默、合并、抑制、路由分派等),然后分派给特定通知渠道(短信、邮件等)。

产品列表

  • 云架构设计工具CADT
  • 日志服务SLS
  • 对象存储OSS
  • 数据湖分析DLA
  • 云数据库RDS MySQL版

业务架构

207.png

直达最佳实践 》》

207.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云原生 - 自建数据库与云数据库RDS性能优势分析,值不值得购买?(下)
云原生 - 自建数据库与云数据库RDS性能优势分析,值不值得购买?(下)
36 0
日志服务之数据清洗与-4
日志服务之数据清洗与-4
26 0
日志服务之数据清洗与-3
日志服务之数据清洗与-3
33 0
数据中台不是“银弹”:云原生数据中台:架构、方法论与实践
数据中台不是“银弹”:云原生数据中台:架构、方法论与实践
121 0
日志数据预处理与投递
在我们做数据投递的时候,可能需要先对数据做一定的加工处理,像数据字段的保留、删除、改名,打包等操作,加工完成之后然后我们再投递到相应的服务中。
118 0
云原生架构下的日志平台方案
在公司转型云原生架构的过程中,复杂的动态集群环境下,可观测性(Observability)对于快速定位和诊断问题,已上升到公司整体层面了。日志作为重要的三大(logs, metrics and traces)可监测要素之一尤为重要。同时日志系统提供的也不再局限于应用系统的诊断,还包括业务、运营、BI、审计、安全等领域,日志平台最终的目标是实现公司在云原生架构下各个方面的数字化、智能化。
2477 0
云原生日志数据分析上手指南
云原生日志数据分析上手指南 背景信息 本指南主要涉及阿里云云产品: 日志服务(SLS, https://www.aliyun.com/product/sls) 对象存储服务(OSS, https://www.aliyun.com/product/oss) Data Lake Analytics(DLA, https://www.aliyun.com/product/datalakeanalytics) 上述三款云产品均属于Serverless化的云原生服务型产品,无维护成本、高可用,简单配置即可在云上搭建起企业级的日志数据分析链路和应用。
2420 0
云数据库 Bmob
/**************************************************************************************** * 云数据库 Bmob * 说明: * 梦真之前采用Bmob进行远程数据存储,今天有点时间,于是尝试看一下操作方法,在AS中根据 * 快速入门操作一下,顺便记录一下。
1296 0
283
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载