《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

1. 用户行为日志基本流程简介

 

image.png

 

用户行为分析:是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现网络营销活动中可能存在的问题,并为进一步修正或重新制定相关策略提供依据。

 

image.png

采集模型

 

2. 用户行为日志分析解决方案与收益

 

image.png

典型基于用户行为分析的解决方案图

 

1) 典型的基于用户行为分析的解决方案,如图:

 

应用App部署在ECS服务器上,用户的行为日志存放在该服务器上,使用Log Service(原称SLS)在ECS上部署Logtail agent实现日志自动采集。

由于日志比较大,Logtail在自动投递时考虑到成本等因素,首先会投递到OSS上,然后通过AnalyticDB对离线的数据进行清洗加工,如从ODS层清洗到DWS层。

清洗完成后将数据回流ADB里,这里存放ADS层数据,便可以进行高并发低延迟分析、高度灵活、交互式分析、BI的探索等操作。

 

说明

投递出来的日志数据具有冷热属性,一般将冷数据投递到OSS上,也可以在AnalyticDB上执行冷热的分离,比如近30天的数据访问频率较高,可以放到SSD盘,而30天之前的数据访问频率较低,对其响应时间要求比较低,这些数据可以放到冷层上。

数据清洗时一般将数据先清洗到ODS层再到DWD层、DWS层,由于依赖数据开发和数据调度能力,推荐使用阿里云DMS产品与ADB结合,形成一站式用户行为分析方案。

涉及到准实时、流计算可以使用ADB内置引擎实现。

 

2) “AnalyticDB弹性集群+DMS”形成一站式数据分析闭环

 

AnalyticDB弹性集群-热数据:(RDS-DTS)用户登录/注册实时监控,实时展现新增用户&在线用户信息。

AnalyticDB弹性集群-冷数据:(日志采集投递)用户行为分析,圈选高价值用户,通过打点信息分析指导业务优化实现百毫秒RT响应。

 

3) 离线数据分析

 

(OSS数据投递)将OSS日志数据“T+1”投递到AnalyticDB弹性集群进行海量热数据分析。

(OSS数据分析)将OSS日志数据进行清洗加工。

 

4) 核心PaaS产品:AnolyticDB MySQL、DMS

 

用户行为分析,多维度分类:

基于AnalyticDB MySQL准实时分析,精准推荐。

基于AnalyticDB (Spark)流计算近实时清洗加工。

基于DMS实现一站式全链路数据管理与服务。

基于事件触发自动化推荐。

 

5) 日志分析类型

 

行为事件分析:根据运营关键指标对用户特定事件进行分析。

用户留存分析:用来分析用户参与情况与活跃程度的模型。

漏斗模型分析:用户在使用产品过程中,描述各个阶段中关键环节的用户转化和流失率情况。

行为路径分析:分析用户在产品使用过程中的访问路径。

行为热力分析:显示功能区域中不同元素点击密度、触达率、停留分布等特征。

 

6) 一些数据

 

玩家基础信息:1+亿

玩家行为数据:1T/天

玩家消费数据:100+亿

10分钟->百毫秒级;100X性能提升

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2天前
|
运维 监控 JavaScript
【阿里云云原生专栏】Serverless架构下的应用部署与运维:阿里云Function Compute深度探索
【5月更文挑战第21天】阿里云Function Compute是事件驱动的无服务器计算服务,让用户无需关注基础设施,专注业务逻辑。本文详述了在FC上部署应用的步骤,包括创建函数、编写代码和部署,并介绍了运维功能:监控告警、日志管理、版本管理和授权管理,提供高效低成本的计算服务。
126 6
|
3天前
|
架构师 数据挖掘 Python
最全pandas库(Python),2024年最新阿里云架构师面试
最全pandas库(Python),2024年最新阿里云架构师面试
最全pandas库(Python),2024年最新阿里云架构师面试
|
3天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
3天前
|
监控 负载均衡 Java
【阿里云云原生专栏】微服务架构在阿里云云原生平台上的应用实例与优化策略
【5月更文挑战第20天】本文介绍了在阿里云云原生平台实现微服务架构的步骤,包括基于Spring Cloud的Docker化部署、使用ACK部署微服务,以及优化策略:服务发现与负载均衡(借助Istio)和监控日志管理。通过这种方式,企业能提升应用的可扩展性、可维护性和敏捷性。
180 5
|
6天前
|
监控 安全 数据挖掘
Email 接口API有哪些?具体分析一下阿里云和AOK的优点
本文介绍了常见的Email接口API,如阿里云邮件推送、AOKSend、SendGrid、Mailgun和Amazon SES。阿里云API以其高稳定性和数据分析功能脱颖而出,支持批量发送和多语言;而AOKSend API以易于集成、高安全性和优秀客户支持为亮点。企业在选择时应考虑自身需求和预算,以优化邮件营销效果。
|
8天前
|
弹性计算 负载均衡 容灾
应用阿里云弹性计算:打造高可用性云服务器ECS架构
阿里云弹性计算助力构建高可用云服务器ECS架构,通过实例分布、负载均衡、弹性IP、数据备份及多可用区部署,确保业务连续稳定。自动容错和迁移功能进一步增强容灾能力,提供全方位高可用保障。
181 0
|
6天前
|
Linux 网络安全 Windows
网络安全笔记-day8,DHCP部署_dhcp搭建部署,源码解析
网络安全笔记-day8,DHCP部署_dhcp搭建部署,源码解析
|
7天前
HuggingFace Tranformers 源码解析(4)
HuggingFace Tranformers 源码解析
7 0
|
7天前
HuggingFace Tranformers 源码解析(3)
HuggingFace Tranformers 源码解析
8 0
|
7天前
|
开发工具 git
HuggingFace Tranformers 源码解析(2)
HuggingFace Tranformers 源码解析
9 0