开发者社区> yq传送门> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云上游戏数据分析实践

简介: 数据分析和游戏的生命周期与盈利息息相关,同时数据分析对游戏的运维也起到了至关重要的作用,精确的数据分析可以延长游戏的生命和帮助其盈利。本文针对游戏行业的数据特点,结合游戏数据分析的现状,对数据分析上云的技术选型、结合数加大数据计算服务MaxCompute(原ODPS)、SLS、RDS、DPC等产品和
+关注继续查看
从游戏发展的角度来看,不管是端游、页游,还是现在发展迅猛的手游,其生命周期与盈利情况都与数据分析能力息息相关。同时数据分析对游戏的运维也起到了至关重要的作用。精确的数据分析有助于在做游戏运营时推出合理的新手引导,在及时的渠道推广和丰富的消费场景设计,这些将极大地影响游戏玩家对游戏的关注度,从而延长游戏的生命周期,并从中更好盈利。

游戏数据分析特点

分析是建立在数据上的,数据的特点决定了分析的方向和方法。游戏数据的特点主要表现在以下四个方面。
第一,数据量大。以手机游戏为例,一款中型规模手游的日均数据量增长在几十GB。在这种情景下,做常见的月活、季活等游戏指标分析所面对的就是TB级别的海量数据。
第二,数据类型丰富。从游戏数据的种类来看,分为结构化数据和非结构化数据。从数据存放的位置来看,可以分为文本数据、缓存数据库数据、关系型数据库数据等。
第三,分析维度多样。由于游戏指标不同,所以游戏分析的维度有很大差异。例如,游戏指标通常玩家指标、性能指标和过程指标三类。
  • 玩家指标,一般用于计算与收入相关的指标,如用户平均消费指标(ARPU,average revenue per user )和每日活跃用户(DAU,daily active users ),也可以用于调查人们如何与游戏系统交互,如用户游戏时间和用户的游戏内好友平均数。
  • 性能指标,针对游戏技术和软件框架性能,一般包含游戏在用户硬件平台上运行的帧速率,也被用来在观察打补丁或升级时对用户造成的操作影响。
  • 过程指标,针对游戏开发实际过程中的数据指标。
第四,实时性强。数据分析分为四个层次,数据量少实时性低,数据量少实时性高,数据量大实时性低,数据量大实时性高。这四个数据分析的层次对技术难度的要求是逐渐提高的。而游戏数据分析的特点可以划定在最后一档即数据量大实时性高,所以海量游戏数据分析对技术能力和软件需求提出了极大的挑战。

游戏数据分析现状及瓶颈

我们曾拜访了近百家游戏客户,深入了解游戏开发商如何处理和分析数据,发现目前数据分析在不同游戏行业中使用程度不同,主要表现在游戏规模越大,使用的数据分析维度越广,程度越深;中小型游戏数据分析使用程度一般。总体来说,游戏数据分析的现状如下。
  1. 不做数据分析。这种类型的游戏客户在小型页游和大厅类游戏中比较常见,只是出于备份的需要将数据从生产环境中定时批量备份出来,用单独的硬盘或者服务器做数据存储。
  2. 数据库级别执行SQL查询。大多数的游戏客户将生产数据备份出来,导入到专有的数据库中做离线数据分析,采用的方法是使用SQL语言和第三方报表工具做基本的数据查询。但基于数据库对数据量的限制,当单表记录到千万甚至上亿级别后,这种分析方法就基本行不通了。
  3. 使用成熟的数据仓库产品。在中大型游戏客户中,数据规模已达到一定的数量级别,游戏运维离不开数据分析的支撑。这种情况下,用户会选用数据仓库产品,将数据库中的数据经过ETL后导入到数据仓库中做数据分析,或者用户利用物理机集群自建大数据分析平台,例如Hadoop,Spark等分布式大数据分析框架,结合具体应用场景做大数据分析。
在数据分析中,当数据量达到海量级别后,上述三种情况都会遇到相应的瓶颈:
  • TB/PB级别的数据分析耗时太长;
  • 时间跨度大的数据分析耗时太长;
  • SQL无法满足所有数据分析需求;
  • 海量数据的存储问题。
除了海量数据处理能力问题之外,用户在自建Hadoop等分布式大数据分析框架中也会遇见技术难度高、框架维护成本高等问题。

阿里云产品和服务选型

在协助游戏客户将数据分析上云之前,我们仔细分析了目前用户的数据分析方式。他们的数据目前主要以两种形式存在,文本日志数据和数据库关系型数据。
  • 文本日志数据记录的是玩家实时战斗信息、晶钻消费信息和登录状态信息。这些数据在每个游戏服务器上都会产生,遵循用户自定义的数据格式。用户有一组专门的日志服务器和自定义程序在游戏服务器上定时批量抽取这些文本数据存放到日志服务器上。
  • 存放在数据库中的关系型数据增长速度通常会比较快。
上述两种类型的数据都会被批量导入到数据仓库中,进行数据分析。在技术选型上,客户给我们提出了两点要求。
  • 要保证上云后数据分析的效率,因为基于目前使用数据仓库分析的方式,分析日活、月活等信息时平均耗时在几十分钟级别。
  • 要提高数据分析的实时性,上云之前,对类似晶钻消费等数据做分析存在至少1个小时的延时,用户希望上云后能得到更加实时的分析结果。

面对客户的需求,我们在选择阿里云服务时,首先想到了阿里云数加-大数据计算服务MaxCompute,产品地址:https://www.aliyun.com/product/odps。然后我们选择了对文本日志数据支持较好的SLS(Simple Log Service,简单日志服务)。SLS为大量服务器日志文件的收集提取提供了一种监听实时抽取的服务,此外SLS和MaxCompute底层是打通的,所有存放在SLS服务器上的日志数据会被自动离线备份到MaxCompute中,方便用户做进一步的数据分析。除了MaxCompute和SLS服务,我们的方案中还使用了RDS(Relational Database Service,关系型数据库服务)以及DPC(Data Process Center,采云间)控制台工具。

利用上述提到的阿里云服务,游戏数据分析方案中的架构如图1所示。SLS通过安装在游戏服务器ECS上的Logtail客户端,建立一种类似心跳的方式监听文本日志文件,并按照用户指定的格式将数据抽取后以键值对的形式存放到SLS服务器。每条记录包含了时间、来源ECS IP地址和抽取的键值对信息。MaxCompute在游戏数据分析中可以被当成是一个大数据分析平台,可以将SLS和RDS数据导入到MaxCompute中,利用MaxCompute强大的数据分析能力分析游戏数据。DPC在游戏数据分析中充当IDE角色,除了应用在数据的导入导出,MaxCompute任务管理,还可以用来做最后的数据分析结果展示。

01c7c09b20d79835a1a5ff6a6f7398e0cb463fb1
接下来详细介绍上述场景中,游戏数据分析的具体步骤,参见图2。我们可以看到,游戏应用服务器在运行期间产生了大量的数据,接下来分别介绍文本数据和关系型数据导入至MaxCompute的实现步骤,然后结合数据分析的具体场景介绍在MaxCompute中做数据分析的实现方式。
e783d62205d14bf8666e517bb60285989051cf84
     第一,SLS处理文本日志详细步骤。在游戏服务器运行过程中,按照业务逻辑规划,一部分数据将直接写入到文本日志里进行保存。文本日志数据生成在本地指定目录文件中,且文件名按照时间命名,路径格式/var/log/game/$ {serverid}/${YYYYMM}/{DD}/{YYYYMMDD.HH24}.log,产生的一条日志记录如下所示:
action:CONSUME,m_uid:9085492,role_id:……,channel:20016,plat:ANDROID,udid:7ca94b77-fa76-……-2ad2ffe54ab3,server:……,role_name:monkey,ip:……,consume_time:2014-08-20 00:02:03,role_lv:22,item_id:0,amount:25,remain_amount:89,orderid:0,blue_amount:25,red_amount:0,blue_remain:89,red_remain:0。Logtail是ECS上的监听程序,可以配置监听目录和提取的日志内容,例如对上文的文本内容用自定义正则表达式提取出来,内容如图3所示。
bd64b8b3331078a175daeb79fb0e13aae8692afd 
日志被提取出来后,会按照(key:value)键值对的方式保存至SLS指定Category。日志被提取到SLS服务器后,除了每条SLS日志记录被提取的文本内容,还会记录一个时间和IP,这里时间是指数据写入文本日志的时间,IP记录了文本日志来源的游戏服务器IP地址。同时,已经保存在SLS服务器的数据会自动离线保存到MaxCompute用户指定的Project里面,如图4所示。
c89f5ae046ab45ad924933347fbdf502f6b65742
SLS Category存放的所有记录会自动离线保存到MaxCompute中,首次数据备份在6个小时内完成,以后每小时SLS的数据会被增量备份至MaxCompute。
第二,RDS处理关系型数据详细步骤。关系型数据是游戏服务器在运行过程中,对用户角色创建和用户消费行为数据的记录,直接通过业务逻辑写到RDS数据库中保存。RDS里面的数据,可以通过阿里云DPC工具,将数据批量定时地导入到MaxCompute指定Project里,如图5所示。
9399d6d1e1ecdc42374f8cfa0b43de79b39c3477 
f3a1b2e56549c1ff2f01b65d3683ad026b30d605
RDS数据导入经过基础配置、列筛选、数据筛选三个步骤后,就可以发布导入计划时间,可以分为每日、每周、每月进行数据导入。关于导入的数据筛选和导入时间的设置,完全取决于用户的使用场景。例如,用于游戏消费数据信息这种实时分析要求较高的数据建议选择每日非活跃时间段定时导入。任务发布后,可以继续通过DPC控制台对任务的执行情况进行查看。
第三, MaxCompute数据分析详细步骤。在游戏服务器产生的文本数据和关系型数据都集中导入到MaxCompute之后,接下来可以利用MaxCompute平台本身的产品特性,开始做用户自定义的数据分析。MaxCompute中常用的数据分析有以下几种方法。
6dd6c86d2566f33c85639dd7e9af9101349ef769
 
  • MaxComputeSQL语句查询,能查询满足用户绝大多数的数据分析需求,如图6所示。
  • 发布自定义UDF任务。UDF是指用户自定义函数处理,例如做一个游戏描述的大小写转换函数,用Java代码编写好函数后,打包成Jar文件发布到MaxCompute中,然后SQL语句里面就可以直接调用函数功能。
  • 发布MapReduce任务。阿里云MaxComputeMapReduce和UDF功能在Eclipse开发工具中有相应的开发插件,在插件完成安装后,创建MapReduce功能。

在创建MapReduce文件后,根据实际游戏数据分析任务,分别完成Map函数和Reduce函数的编码,然后通过Driver类设置运行资源和格式。在Eclipse中完成的MapReudce任务可以打包成为一个Jar文件发布到MaxCompute指定Project。

第四,DPC数据展示。目前DPC的图形化数据展示功能还没有开放,本节将使用表格化数据举例说明DPC数据处理结果。发布任务后,DPC控制台提供查看操作日志的功能,如图6所示。

目前,所有子任务执行成功后,数据分析的结果会以表格的形式展现,同时这些数据分析结果也可以通过DPC工具保存至RDS。在RDS中数据的交互性更强,可以利用第三方报表工具做多维度的数据展示。

总结

阿里云发展到现在已经提供了20多种云产品和服务。这些服务功能选择性多,稳定性好,性能优异,节省了用户使用成本。希望阿里云能推出更多稳定可靠的产品和服务给技术人员更多的选择。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
看云栖说云栖 —— 数据中台
阿里巴巴数据中台是阿里云上实现数据智能的最佳实践,它是由数据中台方法论+组织+工具所组成。
1341 0
数据分析 ≠ 数据分析师
让人人都成为数据分析师改为让让人人都懂数据分析
1874 0
数据分析之分布函数
一. 概念解释 PDF:概率密度函数(probability density function), 在数学中,连续型随机变量的概率密度函数(在不至于混淆时可以简称为密度函数)是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。
878 0
云上数据仓库选型指南
云数据仓库是构建在云上的新一代数据仓库解决方案,如何选择符合企业需求的云数据仓库,选择时应考虑哪些关键问题成为很多企业管理者关心的问题。本文参考TDWI以及Forrester的研究报告内容,对云数据仓库选型参考依据进行介绍,希望能对您在云数据仓库选型时有所帮助。
3189 0
数据分析第一周
数据分析的结构层次 底层数据的收集/产品端收集 数据采集简称埋点,收集用户在网页端,产品端,客户端等终端的数据,也包括第三方外部数据。用户行为-原始数据 数据业务化/产品需要什么样的数据? 将收集的数据转换为可理解,可量化,可观察的业务指标。
1015 0
小白学数据分析-----> 你的游戏数据分析做好了吗?
“策划和数据的关系和SM一样,你穿皮衣,握着鞭子的时候,才会体验到驾驭数据的刺激,前提是你很坚定你必须站着,一次都不要跪。如果你是跪在地上的那个,那永远永远只能被牵着走。” 我们作为游戏运营一直在说数据重要,数据化运营,然而,往往给出来的就是留存率、流失率、活跃、付费渗透率,这些是目前大家都在做的,而且做了很久很久,可惜的是目前还没有形成一些统一的规范,因此我们有了ARPU的质疑,有了一次又一次的质疑,虽然再各自为战,但是没有战出一个所以然。
836 0
电商数据分析
图片来自微博
632 0
游戏运营的数据分析
这几天一直在看如何展开数据分析文章,大家写的都不错,说实话,针对如何展开游戏运营数据分析的指导真的非常少,作为每个公司的核心机密是不会拿到台面上与大家分享的,一段时期我上网看了很多的材料,当显示不能满足需求的时候,就要靠我们自己来挖掘。
835 0
+关注
797
文章
18
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载