玩吧高速增长的数据上云实践

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 玩吧高速增长的数据上云实践

作者:玩吧数据智能负责人 于海亮

玩吧简介

首先向介绍一下我们的公司,公司全称是北京默契破冰科技有限公司,创建于2015年,是一家娱乐社交平台公司,玩吧是我们公司APP的名字,APP上有很多双人小游戏,像卧底大师,你说我猜,大家可以边玩边聊,轻松交友,让社交更轻松。

玩吧数据上云架构

1.png

下面介绍下玩吧数据上云的架构图,最左侧数据采集是通过Kafka集群和DataWorks数据集成,中间的流批一体数据仓库,离线数仓用的是阿里云的MaxCompute,实时数据分析使用的是Hologres,机器学习用的是阿里云的PAI,BI报表使用的是QuickBI系统,数据的开发、治理和运维使用的是DataWorks平台。

玩吧BI系统

2.png
玩吧的BI系统使用了阿里云的全栈产品进行搭建。数据采集使用了阿里云的日志服务,业务DB的数据通过MaxCompute的实时同步系统,将数据同步到数据仓库,离线计算使用ODPS SQL,将数据进行运算处理。最后通过Hologres产品来进行交互式分析。Hologres可以和MaxCompute产品做无缝的集成,节省了数据计算后搬运的时间。数据的展现使用了阿里云的QuickBI,可以灵活的配置数据报表。整体平台的搭建,可以快速地完成。

玩吧数据模型系统

3.png

我们的统计分析日志模型是基于事件模型的,事件模型主要包括了用户和event两个实体,简单来说一个event描述了一个用户在某个地方以某种方式完成了具体的事情。用户记录和收集长期属性,形成user profile,通过ID与相关的event进行关联。

玩吧数据计算

4.png
最后我们的数据计算分成了统计类的数据,规则类的数据,机器学习类型的数据。 从日志服务加载静态数据和动态event数据,到离线仓库,通过 MaxCompute进行数据的离线计算,最后数据的标签使用PAI系统进行计算,输出的结果同步到Hologres。公司以前的数据输出到HBASE,并建立了二级索引加速,现在使用Hologres可以完美的替换。

玩吧大数据应用场景

5.png

最后我们在数据应用上我们有了很多的探索,在这里给大家举一个例子,很多公司做运营活动时,都希望能促进用户的付费破冰,提升用户的付费金额,以及用户的复购率。付费破冰可以通过首充活动来实现。首充活动对用户的吸引程度主要取决于以下几点:活动的触达方式和时间是否与用户转化的时机契合,活动的形式是否符合用户偏好,活动的奖励是不是用户所需要的。我们这里对用户的首充属性进行分析,根据用户付费后的行为活动,推测不同类型的用户的付费时间点和付费动机。
了解首充用户的付费动机后,进一步和活动特性进行关联,将其使用在其他未付费用户身上,首充时间代表着用户的转化周期,在一定程度上代表了用户的转化难度,对于转化难度较高的用户,可以适当的调高奖励的成本。首冲金额代表了用户的质量,用户首次充值的金额可以推测用户的付费潜力,首充之后的消耗,反映了用户的付费动机,用户对于什么样类型的产品跟服务感兴趣,在对应的活动中,会结合以上的行为,对用户进行付费转化。
谢谢大家!

资料下载

点击下载》》资料

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习 数据采集 SQL
玩吧高速增长的数据上云实践
首先介绍一下我们的公司,公司全称是北京默契破冰科技有限公司,创建于2015年,是一家娱乐社交平台公司,玩吧是我们公司APP的名字,APP上有很多双人小游戏,像卧底大师,你说我猜,大家可以边玩边聊,轻松交友,让社交更轻松。
2946 0
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
286 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
191 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
177 0
|
5月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
327 3
|
5月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
3月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
156 14
|
2月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
3月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
149 1
|
3月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
241 1