《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

本文涉及的产品
对象存储 OSS,20GB 3个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云解析DNS,个人版 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析

1. 用户行为日志基本流程简介

 

image.png

 

用户行为分析:是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现网络营销活动中可能存在的问题,并为进一步修正或重新制定相关策略提供依据。

 

image.png

采集模型

 

2. 用户行为日志分析解决方案与收益

 

image.png

典型基于用户行为分析的解决方案图

 

1) 典型的基于用户行为分析的解决方案,如图:

 

应用App部署在ECS服务器上,用户的行为日志存放在该服务器上,使用Log Service(原称SLS)在ECS上部署Logtail agent实现日志自动采集。

由于日志比较大,Logtail在自动投递时考虑到成本等因素,首先会投递到OSS上,然后通过AnalyticDB对离线的数据进行清洗加工,如从ODS层清洗到DWS层。

清洗完成后将数据回流ADB里,这里存放ADS层数据,便可以进行高并发低延迟分析、高度灵活、交互式分析、BI的探索等操作。

 

说明

投递出来的日志数据具有冷热属性,一般将冷数据投递到OSS上,也可以在AnalyticDB上执行冷热的分离,比如近30天的数据访问频率较高,可以放到SSD盘,而30天之前的数据访问频率较低,对其响应时间要求比较低,这些数据可以放到冷层上。

数据清洗时一般将数据先清洗到ODS层再到DWD层、DWS层,由于依赖数据开发和数据调度能力,推荐使用阿里云DMS产品与ADB结合,形成一站式用户行为分析方案。

涉及到准实时、流计算可以使用ADB内置引擎实现。

 

2) “AnalyticDB弹性集群+DMS”形成一站式数据分析闭环

 

AnalyticDB弹性集群-热数据:(RDS-DTS)用户登录/注册实时监控,实时展现新增用户&在线用户信息。

AnalyticDB弹性集群-冷数据:(日志采集投递)用户行为分析,圈选高价值用户,通过打点信息分析指导业务优化实现百毫秒RT响应。

 

3) 离线数据分析

 

(OSS数据投递)将OSS日志数据“T+1”投递到AnalyticDB弹性集群进行海量热数据分析。

(OSS数据分析)将OSS日志数据进行清洗加工。

 

4) 核心PaaS产品:AnolyticDB MySQL、DMS

 

用户行为分析,多维度分类:

基于AnalyticDB MySQL准实时分析,精准推荐。

基于AnalyticDB (Spark)流计算近实时清洗加工。

基于DMS实现一站式全链路数据管理与服务。

基于事件触发自动化推荐。

 

5) 日志分析类型

 

行为事件分析:根据运营关键指标对用户特定事件进行分析。

用户留存分析:用来分析用户参与情况与活跃程度的模型。

漏斗模型分析:用户在使用产品过程中,描述各个阶段中关键环节的用户转化和流失率情况。

行为路径分析:分析用户在产品使用过程中的访问路径。

行为热力分析:显示功能区域中不同元素点击密度、触达率、停留分布等特征。

 

6) 一些数据

 

玩家基础信息:1+亿

玩家行为数据:1T/天

玩家消费数据:100+亿

10分钟->百毫秒级;100X性能提升

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
16天前
|
运维 Kubernetes 监控
深入解析微服务架构的演进与实践
本文旨在探究微服务架构从诞生到成熟的发展历程,分析其背后的技术推动力和业务需求,并结合具体案例,揭示实施微服务过程中的挑战与解决策略。通过对微服务架构与传统单体架构的对比,阐明微服务如何优化现代应用开发流程,提高系统的可扩展性、可维护性和敏捷性。
32 0
|
17天前
|
存储 关系型数据库 数据库
给阿里云的建议和意见 一个云服务器架构是否可行
摘要(Markdown格式): 在修复阿里云服务器IPv4设置错误时遇到困难,导致服务器远程登录失败及外网访问受阻,耗时三天解决。建议阿里云更新文档,确保设置指导与实际情况一致,例如只需在路由表添加条目关联IPv4。此外,建议优化帮助页面,如采用折叠式设计减少干扰。服务器主要任务是数据分析、存储和分发,文中提出简化服务器框架,消除硬件软件复杂配置,利于初学者和独立开发者快速上手,降低时间成本。该设计旨在减少无用组件,节省资源,同时降低云服务商的人力和支持成本。期望云服务商考虑此类架构创新。目前未知是否有类似产品,期待业界反馈。
885 0
给阿里云的建议和意见 一个云服务器架构是否可行
|
1天前
|
监控 安全 数据安全/隐私保护
ERP系统中的组织架构与权限管理解析
【7月更文挑战第25天】 ERP系统中的组织架构与权限管理解析
13 2
|
7天前
|
监控 负载均衡 安全
微服务架构下的服务发现与注册:技术深度解析
【7月更文挑战第20天】服务发现与注册是微服务架构中不可或缺的一部分,它确保了服务间的动态发现和通信。通过选择合适的实现工具和遵循最佳实践,可以构建出高效、可靠、可扩展的微服务系统。随着技术的不断进步,未来我们还将看到更多创新的服务发现与注册解决方案的出现。
|
10天前
|
监控 Kubernetes 安全
Istio整体架构解析
【7月更文挑战第17天】Istio整体架构分为数据平面(Data Plane)和控制平面(Control Plane)两部分
|
23天前
|
负载均衡 监控 安全
微服务架构中的API网关模式解析
【7月更文挑战第4天】在微服务架构中,API网关不仅是一个技术组件,它是连接客户端与微服务之间的桥梁,负责请求的路由、负载均衡、认证、限流等关键功能。本文将深入探讨API网关的设计原则、实现方式及其在微服务架构中的作用和挑战,帮助读者理解如何构建高效、可靠的API网关。
|
24天前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
240 2
|
24天前
|
弹性计算 运维 Kubernetes
阿里云ECS与混合云策略的结合,不仅为企业搭建了一个既灵活又稳定的IT基础架构,还为业务的快速发展与创新提供了坚实的技术支撑。
【7月更文挑战第3天】阿里云ECS在混合云中扮演关键角色,提供弹性计算资源和多样计费模式,确保业务连续性与灵活性。通过VPC互通、应用迁移、数据同步服务,如VPC对等连接、DTS,实现云上云下资源的高效整合。结合安全解决方案,保证在混合环境下的合规与安全。阿里云ECS助力企业数字化转型,应对市场变化。
58 1
|
11天前
|
运维 负载均衡 前端开发
深度解析:Python Web前后端分离架构中WebSocket的选型与实现策略
【7月更文挑战第16天】Python Web开发中,前后端分离常见于实时通信场景,WebSocket作为全双工协议,常用于此类应用。选型时考虑性能、功能、易用性、社区支持和成本。Flask-SocketIO是实现WebSocket的一个选项,它简化了与Flask的集成。案例展示了如何用Flask-SocketIO创建一个实时聊天室:后端处理消息广播,前端通过Socket.IO库连接并显示消息。此实现策略演示了在Python中实现实时通信的基本步骤。
19 0
|
24天前
|
人工智能 搜索推荐 计算机视觉
[AI Perplexica] 深入解析,AI 架构揭秘
了解 Perplexica 的核心架构,探索其用户界面、代理链、大型语言模型、嵌入模型等关键组件的运作方式,揭秘 AI 如何高效处理复杂查询任务。

推荐镜像

更多