《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

1. 用户行为日志基本流程简介

 

image.png

 

用户行为分析:是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现网络营销活动中可能存在的问题,并为进一步修正或重新制定相关策略提供依据。

 

image.png

采集模型

 

2. 用户行为日志分析解决方案与收益

 

image.png

典型基于用户行为分析的解决方案图

 

1) 典型的基于用户行为分析的解决方案,如图:

 

应用App部署在ECS服务器上,用户的行为日志存放在该服务器上,使用Log Service(原称SLS)在ECS上部署Logtail agent实现日志自动采集。

由于日志比较大,Logtail在自动投递时考虑到成本等因素,首先会投递到OSS上,然后通过AnalyticDB对离线的数据进行清洗加工,如从ODS层清洗到DWS层。

清洗完成后将数据回流ADB里,这里存放ADS层数据,便可以进行高并发低延迟分析、高度灵活、交互式分析、BI的探索等操作。

 

说明

投递出来的日志数据具有冷热属性,一般将冷数据投递到OSS上,也可以在AnalyticDB上执行冷热的分离,比如近30天的数据访问频率较高,可以放到SSD盘,而30天之前的数据访问频率较低,对其响应时间要求比较低,这些数据可以放到冷层上。

数据清洗时一般将数据先清洗到ODS层再到DWD层、DWS层,由于依赖数据开发和数据调度能力,推荐使用阿里云DMS产品与ADB结合,形成一站式用户行为分析方案。

涉及到准实时、流计算可以使用ADB内置引擎实现。

 

2) “AnalyticDB弹性集群+DMS”形成一站式数据分析闭环

 

AnalyticDB弹性集群-热数据:(RDS-DTS)用户登录/注册实时监控,实时展现新增用户&在线用户信息。

AnalyticDB弹性集群-冷数据:(日志采集投递)用户行为分析,圈选高价值用户,通过打点信息分析指导业务优化实现百毫秒RT响应。

 

3) 离线数据分析

 

(OSS数据投递)将OSS日志数据“T+1”投递到AnalyticDB弹性集群进行海量热数据分析。

(OSS数据分析)将OSS日志数据进行清洗加工。

 

4) 核心PaaS产品:AnolyticDB MySQL、DMS

 

用户行为分析,多维度分类:

基于AnalyticDB MySQL准实时分析,精准推荐。

基于AnalyticDB (Spark)流计算近实时清洗加工。

基于DMS实现一站式全链路数据管理与服务。

基于事件触发自动化推荐。

 

5) 日志分析类型

 

行为事件分析:根据运营关键指标对用户特定事件进行分析。

用户留存分析:用来分析用户参与情况与活跃程度的模型。

漏斗模型分析:用户在使用产品过程中,描述各个阶段中关键环节的用户转化和流失率情况。

行为路径分析:分析用户在产品使用过程中的访问路径。

行为热力分析:显示功能区域中不同元素点击密度、触达率、停留分布等特征。

 

6) 一些数据

 

玩家基础信息:1+亿

玩家行为数据:1T/天

玩家消费数据:100+亿

10分钟->百毫秒级;100X性能提升

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
4天前
|
边缘计算 Cloud Native 数据管理
【阿里云云原生专栏】云原生背景下的AIoT布局:阿里云Link平台解析
【5月更文挑战第29天】阿里云Link平台,作为阿里云在AIoT领域的核心战略,借助云原生技术,为开发者打造一站式物联网服务平台。平台支持多协议设备接入与标准化管理,提供高效数据存储、分析及可视化,集成边缘计算实现低延时智能分析。通过实例代码展示,平台简化设备接入,助力智能家居等领域的创新应用,赋能开发者构建智能生态系统。
33 3
|
2天前
|
存储 运维 5G
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
|
4天前
|
弹性计算 运维 监控
【阿里云弹性计算】从物理机到阿里云ECS:企业IT架构转型升级之路
【5月更文挑战第29天】随着云计算兴起,企业正转向阿里云ECS以应对传统物理机的挑战。本文详述了这一转型过程,包括现状评估、迁移计划制定、测试环境搭建、应用数据迁移及后期监控优化。转型升级可提升资源利用率,降低运维成本,加快业务响应,并增强数据安全。示例代码展示了使用阿里云Python SDK创建ECS实例的过程。
24 1
|
9天前
|
存储 弹性计算 人工智能
【阿里云弹性计算】深度解析阿里云ECS弹性裸金属服务器:性能与弹性的完美平衡
【5月更文挑战第24天】阿里云ECS弹性裸金属服务器融合物理机高性能与云服务弹性,提供计算、存储及网络优势。支持秒级伸缩、自动扩展,适用于高性能计算、游戏、企业应用及AI场景。示例代码展示如何通过CLI创建实例,是高需求场景的理想选择。
61 0
|
10天前
|
消息中间件 监控 Cloud Native
【阿里云云原生专栏】事件驱动架构在阿里云云原生生态中的角色与实施路径
【5月更文挑战第23天】本文探讨了事件驱动架构在阿里云云原生生态中的关键作用,强调其在微服务协同和应用创新中的效率提升。阿里云提供了EventBridge和EventMesh等服务支持EDA,其中EventBridge作为事件中枢,实现跨平台事件传递,而EventMesh提供高性能事件处理。通过事件模型设计、服务集成、开发处理器和监控优化四个步骤,用户可在阿里云上实施事件驱动架构,构建敏捷响应的云原生应用。随着云原生技术发展,EDA将成为企业数字化转型的重要推动力。
49 0
|
10天前
|
域名解析 网络协议 安全
【域名解析DNS专栏】云服务中的DNS解析服务比较:阿里云、AWS、Azure大PK
【5月更文挑战第23天】此对比分析探讨了阿里云DNS、AWS Route 53和Azure DNS的服务特点。阿里云DNS以其智能解析和IPv6支持脱颖而出,适合中国地区用户;AWS Route 53凭借其强大的路由策略和与AWS生态的深度集成吸引高级用户;Azure DNS则以简洁管理和DNSSEC安全支持见长,与Azure平台集成良好。选择取决于具体需求,如功能、易用性、性能、安全性和成本。
【域名解析DNS专栏】云服务中的DNS解析服务比较:阿里云、AWS、Azure大PK
|
12天前
|
运维 监控 JavaScript
【阿里云云原生专栏】Serverless架构下的应用部署与运维:阿里云Function Compute深度探索
【5月更文挑战第21天】阿里云Function Compute是事件驱动的无服务器计算服务,让用户无需关注基础设施,专注业务逻辑。本文详述了在FC上部署应用的步骤,包括创建函数、编写代码和部署,并介绍了运维功能:监控告警、日志管理、版本管理和授权管理,提供高效低成本的计算服务。
160 6
|
13天前
|
架构师 数据挖掘 Python
最全pandas库(Python),2024年最新阿里云架构师面试
最全pandas库(Python),2024年最新阿里云架构师面试
最全pandas库(Python),2024年最新阿里云架构师面试
|
13天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
13天前
|
存储 弹性计算 监控
【阿里云弹性计算】阿里云ECS全面解析:弹性计算服务的核心优势与应用场景
【5月更文挑战第20天】阿里云ECS是提供可伸缩计算能力的云服务,支持多种规格实例,满足不同需求。其核心优势包括灵活性、高性能、高可用性、安全性和易用性。适用场景包括网站托管、大数据处理、游戏多媒体应用及测试开发环境。通过Python示例代码展示了如何创建ECS实例,助力企业专注业务发展,简化基础设施管理。
50 5

推荐镜像

更多