开发者学堂课程【DataWorks 一站式大数据开发治理平台精品课程：玩吧】与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/81/detail/1255
玩吧
内容介绍：
一、玩吧介绍
二、玩吧数据上云架构图
三、日志上云
四、快速搭建BI
五、数据模型
六、数据计算
一、玩吧介绍
北京默契破冰科技有限公司(玩吧APP )创建于2015年，是一家致力于打造中国顶级娱乐社交平台的互联网公司,我们提供超多语音玩法，边玩边聊，帮你赶走无聊。玩吧是公司APP的名字，APP上有很多双人小游戏，还有超多语音局等你嗨起,你说我猜、双人小游戏、卧底大师、狼人趴等更有主播达人陪你欢乐玩不停,玩吧APP,娱乐社交首选平台，用声音认识你。
玩吧:边玩边聊,轻松交友，让社交更轻松!
二、玩吧数据上云架构图
最左侧数据采集是通过 kafka 集群和 dataworks 集群中间的流批一体数据仓库，离线数仓用的是阿里云的 odps，实时数据分析使用是 pologres，机器学习用的是阿里云的PAi， BI报表使用的是个BI系统，数据的开发治理和运维使用的是 dataworks 平台。
三、日志上云
1、ELK，日志服务
2、比自建节省大量成本
3、开发，运维天天使用
4、查询分析、监控报警
5、网络问题，性能分析
6、定位Bug、客户问题
7、埋点采集，数据投递
公司的日志系统，之前是采用的自建ELK品牌，后期采用了阿里云的日志服务，阿里云的日志服务是一个全托管平台，从接入配置使用上接触度非常高，新项目几分钟就可以接入。同样的性能，使用日志服务与ELK费用比可以达到1:3。除硬件品以外，日志服务在新数据的接入，搭建新业务，维护与资源扩容这样的成本基本为0，在使用过程中不需要担心容量，并发等问题，可以做到弹性伸缩免运维，每天对日志服务进行大量的查询，开发已经习惯在日志服务上分析问题，大大提高了研发的效率。运维部门也回收了线上系统登录权限，阿里云的日志服务，一次查询可以在秒级解锁几十tb的数据规模。另外通过日志插件调用日志服务的统计业务监控，将数据输入到 datav 平台进行数据大盘展示。另外用的比较多的功能是阿里云的日志智能聚类功能，很多日志都是无主题格式多样的，归类非常难，通过智能归类功能可以将日志进行任意条件过滤后再做 reduce 可以对不同时间段的日志进行比较，一级的数据可以秒出结果，服务驱动的日志使用 log service 进行采集。另外把APP日志以及买点地址也进行了接入，通过统一的认证接入管理，规范了各平台的对接总线，不再有同一份数据，同时被多次采集的情况，各业务平台可以直接去订阅实时日志，进行数据处理。另外通过日志服务的数据投递功能，可以将数据投递给 spark 和 hodoop，flink 等系统进行数据处理。
四、快速搭建 BI
通过基于日志服务的数据采集、基于阿里云 MaxCompute+DataWorks 的数据计算、 开发和运维、MC Hologres的交互式分析, Quick BI 的报表制作,可以快速的搭建完一个适合业务的、 可以扩展的数据分析平台。
公司的BI系统使用了阿里云的全站产品进行搭建，数据采集使用了阿里云的日志服务，业务DB的数据通过了 odps 的实时同步系统，将数据同步到数据仓库，离线计算使用 odps SQL 将数据进行运算处理，最后通过 pologres 产品进行交互式分析，pologres 可以和 odps 产品做无缝的集成，节省了数据计算后搬运的时间，数据的展现使用了阿里云的 quick BI 可以灵活的配置数据报表，整体平台的搭建，可以快速完成。
五、数据模型
统计分析日志模型是基于事件模型的，事件模型主要包括了用户和 event 两个实体。event 就是描述了一个用户在某个地方以某种方式完成了具体的事情，用户记录和收集长期属性形成 user profile，通过 ID 与相关的 event 进行关联。
六、数据计算
数据计算分成同类型的数据，规则型的数据，机器学习类型的数据，从日志服务加载静态数据和动态 event 数据到离线仓库，通过 rds mySQL 进行数据的离线计算，最后数据的标签使用 pai 系统进行计算，输出的结果同步到 Hologres。公司以前的数据计算输出到 hbase，检索通过es进行并加速，现在使用 Hologres 可以将两者做完美的替换。
1、用户运营
根据用户的产品使用深度及类型，日常活跃的场景，给用户提供相关好友匹配，促进用户的活跃度。
2、道具运营
根据用户近期浏览商城道具的点击次数和浏览时长，给用户提升对应道具的折扣信息，促进道具的购买。
另外在数据应用上有了很多的探索，举例，很多公司做运营活动时都希望能促进用户的付费破冰，提升用户的付费金额以及用户的复购率。付费破冰，可以通过首充活动实现。首充活动对用户的吸引程度主要取决于以下几点，活动的处罚方式和时间是否与用户转化的时间契合，活动的形式是否符合用户偏好，活动的奖励是不是用户所需要的？对用户的首充属性进行分析，根据用户付费后的行为活动，推测不同类型的用户的付费时间点和付费动机，在了解手中用户的付费动机后，进一步和活动特性进行关联，将其使用在其他未付费用户身上，首充时间代表用户的转化周期，在一定程度上代表了用户的转化难度，对于转化难度较高的用户，可以适当的调高奖励的成本。首充金额代表了用户的质量，用户首次充值的金额，可以推测用户的付费潜力，首充后的消耗反映了用户的付费动机，用户对于什么样类型的产品与服务感兴趣，在对应的活动中会结合以上的行为对用户进行付费转化。
