1. 用户行为日志基本流程简介
用户行为分析:是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现网络营销活动中可能存在的问题,并为进一步修正或重新制定相关策略提供依据。
采集模型
2. 用户行为日志分析解决方案与收益
典型基于用户行为分析的解决方案图
1) 典型的基于用户行为分析的解决方案,如图:
• 应用App部署在ECS服务器上,用户的行为日志存放在该服务器上,使用Log Service(原称SLS)在ECS上部署Logtail agent实现日志自动采集。
• 由于日志比较大,Logtail在自动投递时考虑到成本等因素,首先会投递到OSS上,然后通过AnalyticDB对离线的数据进行清洗加工,如从ODS层清洗到DWS层。
• 清洗完成后将数据回流ADB里,这里存放ADS层数据,便可以进行高并发低延迟分析、高度灵活、交互式分析、BI的探索等操作。
说明
• 投递出来的日志数据具有冷热属性,一般将冷数据投递到OSS上,也可以在AnalyticDB上执行冷热的分离,比如近30天的数据访问频率较高,可以放到SSD盘,而30天之前的数据访问频率较低,对其响应时间要求比较低,这些数据可以放到冷层上。
• 数据清洗时一般将数据先清洗到ODS层再到DWD层、DWS层,由于依赖数据开发和数据调度能力,推荐使用阿里云DMS产品与ADB结合,形成一站式用户行为分析方案。
• 涉及到准实时、流计算可以使用ADB内置引擎实现。
2) “AnalyticDB弹性集群+DMS”形成一站式数据分析闭环
• AnalyticDB弹性集群-热数据:(RDS-DTS)用户登录/注册实时监控,实时展现新增用户&在线用户信息。
• AnalyticDB弹性集群-冷数据:(日志采集投递)用户行为分析,圈选高价值用户,通过打点信息分析指导业务优化实现百毫秒RT响应。
3) 离线数据分析
• (OSS数据投递)将OSS日志数据“T+1”投递到AnalyticDB弹性集群进行海量热数据分析。
• (OSS数据分析)将OSS日志数据进行清洗加工。
4) 核心PaaS产品:AnolyticDB MySQL、DMS
用户行为分析,多维度分类:
• 基于AnalyticDB MySQL准实时分析,精准推荐。
• 基于AnalyticDB (Spark)流计算近实时清洗加工。
• 基于DMS实现一站式全链路数据管理与服务。
• 基于事件触发自动化推荐。
5) 日志分析类型
• 行为事件分析:根据运营关键指标对用户特定事件进行分析。
• 用户留存分析:用来分析用户参与情况与活跃程度的模型。
• 漏斗模型分析:用户在使用产品过程中,描述各个阶段中关键环节的用户转化和流失率情况。
• 行为路径分析:分析用户在产品使用过程中的访问路径。
• 行为热力分析:显示功能区域中不同元素点击密度、触达率、停留分布等特征。
6) 一些数据
• 玩家基础信息:1+亿
• 玩家行为数据:1T/天
• 玩家消费数据:100+亿
• 10分钟->百毫秒级;100X性能提升