《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

1. 用户行为日志基本流程简介

 

image.png

 

用户行为分析:是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现网络营销活动中可能存在的问题,并为进一步修正或重新制定相关策略提供依据。

 

image.png

采集模型

 

2. 用户行为日志分析解决方案与收益

 

image.png

典型基于用户行为分析的解决方案图

 

1) 典型的基于用户行为分析的解决方案,如图:

 

• 应用App部署在ECS服务器上,用户的行为日志存放在该服务器上,使用Log Service(原称SLS)在ECS上部署Logtail agent实现日志自动采集。

• 由于日志比较大,Logtail在自动投递时考虑到成本等因素,首先会投递到OSS上,然后通过AnalyticDB对离线的数据进行清洗加工,如从ODS层清洗到DWS层。

• 清洗完成后将数据回流ADB里,这里存放ADS层数据,便可以进行高并发低延迟分析、高度灵活、交互式分析、BI的探索等操作。

 

说明

• 投递出来的日志数据具有冷热属性,一般将冷数据投递到OSS上,也可以在AnalyticDB上执行冷热的分离,比如近30天的数据访问频率较高,可以放到SSD盘,而30天之前的数据访问频率较低,对其响应时间要求比较低,这些数据可以放到冷层上。

• 数据清洗时一般将数据先清洗到ODS层再到DWD层、DWS层,由于依赖数据开发和数据调度能力,推荐使用阿里云DMS产品与ADB结合,形成一站式用户行为分析方案。

• 涉及到准实时、流计算可以使用ADB内置引擎实现。

 

2) “AnalyticDB弹性集群+DMS”形成一站式数据分析闭环

 

• AnalyticDB弹性集群-热数据:(RDS-DTS)用户登录/注册实时监控,实时展现新增用户&在线用户信息。

• AnalyticDB弹性集群-冷数据:(日志采集投递)用户行为分析,圈选高价值用户,通过打点信息分析指导业务优化实现百毫秒RT响应。

 

3) 离线数据分析

 

• (OSS数据投递)将OSS日志数据“T+1”投递到AnalyticDB弹性集群进行海量热数据分析。

• (OSS数据分析)将OSS日志数据进行清洗加工。

 

4) 核心PaaS产品:AnolyticDB MySQL、DMS

 

用户行为分析,多维度分类:

• 基于AnalyticDB MySQL准实时分析,精准推荐。

• 基于AnalyticDB (Spark)流计算近实时清洗加工。

• 基于DMS实现一站式全链路数据管理与服务。

• 基于事件触发自动化推荐。

 

5) 日志分析类型

 

• 行为事件分析:根据运营关键指标对用户特定事件进行分析。

• 用户留存分析:用来分析用户参与情况与活跃程度的模型。

• 漏斗模型分析:用户在使用产品过程中,描述各个阶段中关键环节的用户转化和流失率情况。

• 行为路径分析:分析用户在产品使用过程中的访问路径。

• 行为热力分析:显示功能区域中不同元素点击密度、触达率、停留分布等特征。

 

6) 一些数据

 

• 玩家基础信息:1+亿

• 玩家行为数据:1T/天

• 玩家消费数据:100+亿

• 10分钟->百毫秒级;100X性能提升

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
12月前
|
人工智能 缓存 安全
阿里云发布《AI 原生应用架构白皮书》
阿里云联合阿里巴巴爱橙科技,共同发布《AI 原生应用架构白皮书》,围绕 AI 原生应用的 DevOps 全生命周期,从架构设计、技术选型、工程实践到运维优化,对概念和重难点进行系统的拆解,并尝试提供一些解题思路。白皮书覆盖 AI 原生应用的 11 大关键要素,获得 15 位业界专家联名推荐,来自 40 多位一线工程师实践心的,全书合计超 20w 字,分为 11 章。
4899 87
|
12月前
|
人工智能 Cloud Native 安全
解读阿里云刚发布的《AI 原生应用架构白皮书》
阿里云在云栖大会重磅发布了《AI 原生应用架构白皮书》,该白皮书覆盖 AI 原生应用的 11 大关键要素,获得业界 15 位专家联名推荐,来自 40 多位一线工程师实践心得,全书合计超 20w 字,分为 11 章,全面、系统地解构 AI 原生应用架构,包含了 AI 原生应用的 11 大关键要素,模型、框架、提示词、RAG、记忆、工具、网关、运行时、可观测、评估和安全。本文整理自阿里云智能技术专家李艳林在云栖大会现场的解读。
3321 104
|
11月前
|
人工智能 缓存 安全
阿里云发布《AI 原生应用架构白皮书》!
阿里云联合爱橙科技发布《AI原生应用架构白皮书》,系统解析AI应用在架构设计、开发运维中的关键挑战与解决方案,涵盖大模型、Agent、RAG、安全等11大核心要素,助力企业构建稳定、高效、可控的AI应用体系。
阿里云发布《AI 原生应用架构白皮书》!
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
614 2
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。 结构型模式分为以下 7 种: • 代理模式 • 适配器模式 • 装饰者模式 • 桥接模式 • 外观模式 • 组合模式 • 享元模式
984 140
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
1649 29
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
681 4
|
JavaScript 算法 前端开发
JS数组操作方法全景图,全网最全构建完整知识网络!js数组操作方法全集(实现筛选转换、随机排序洗牌算法、复杂数据处理统计等情景详解,附大量源码和易错点解析)
这些方法提供了对数组的全面操作,包括搜索、遍历、转换和聚合等。通过分为原地操作方法、非原地操作方法和其他方法便于您理解和记忆,并熟悉他们各自的使用方法与使用范围。详细的案例与进阶使用,方便您理解数组操作的底层原理。链式调用的几个案例,让您玩转数组操作。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~