海量游戏日志收集与分析

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
文件存储 NAS,50GB 3个月
简介: 6月29日2016云栖大会成都峰会拉开帷幕,阿里云高级专家简志带来了“海量游戏日志的存储与分析”的重要演讲。从数据、云计算改变游戏行业,再谈到日志服务的整个过程,包括日志的作用、日志处理的挑战,以及日志通道的原理、模型,最后分析了日志服务的部分功能和典型应用场景。让我们一起先睹为快吧——

(最新版本参见:游戏日志分析系列文章)

游戏与日志分析

数据、云计算改变游戏行业

我们先看一张图,这种图是国外应用市场的一个报告:统计了最近4年中,一款游戏从上架到达到90%下载量持续的时间长度,横轴代表的是年份,纵轴代表的是持续的周数。在2012年,一款游戏平均可以持续180周(也就是说到了2014年仍有人下载),但这个比例每年在持续下滑,到2015年该区间已经到了24周,进入快餐式消费时代。

不管背后原因是什么,从整个趋势来看游戏行业已经从卖方市场(20年前游戏卡带相互借阅,一卡难求),到现在的买方市场。

screenshot

第二个趋势是:云计算改变了行业,一个显著特征是游戏部署、上线时间缩短了。原先繁重运维工作进一步地减轻,传统意义上运维转向了运营。这是时代的挑战,也是全栈工程师的幸运。

刚才两点更多是共同面对的问题,第三点就是大数据制造的机遇了。我们把2015年24周打开看一下,机会在哪里?从图表中可以看到,游戏一般有4个阶段:研发、增长、成熟、衰退。在增长阶段我们会遇到模仿者,抢占市场份额。怎么去应对模仿者?少犯错、离用户更近一些,实时更改自己的运营策略。

screenshot

游戏行业变化激烈,但用户始终不变

虽然市场很激烈,但20多年来用户的习惯仍然不变。我们可以看下ongamesdata在的一副漫画。面对一款新的游戏时:

  1. 用户首先会尝试下载demo
  2. 之后会喜欢上游戏,和游戏朝夕相处
  3. 某些热爱的玩家会在facebook/twitter等传播游戏、引入更多的玩家
  4. 为游戏付费

客观上看游戏用户并没有因为市场竞争激烈而减少,相反移动互联网的出现让用户在闲暇时间可以享受游戏,社交媒体使得好的游戏更容易传播,用户也越来越舍得花钱,市场的机会还是存在的。

screenshot

为了获取用户,游戏团队需要关注什么?

为了能够让用户一步步爱上我们的游戏,团队中不同的人在不同方面进行合力。让我们来看一些例子,不同的人会关注什么。

  • 游戏总监:Conversion Rate,ARPU,ARPPU,UAC
  • 运营:DAU,MAU,PCU
  • 渠道:CTR,CVR,CPI
  • 程序/产品:EED,XED,Outbound Message Per User,Message Conversion Rates

这里有一些关注的例子:

  1. FarmVille(开心农场)DAU增长下背后的原因

screenshot

  1. 运营眼中:

    • 推广路线:广告投放的钱获得了多少用户
    • 一个职业玩家的道路
    • 一个页游玩家的道路

screenshot

3.FPS游戏统计各道具的平衡性,以及关卡的难度设定

  • 程序员通过不同Kill事件统计武器的平衡性
  • 通过地图可视化,调整关卡的难度与设置

screenshot

收集用户行为、并优化游戏的整个过程

为了拿到以上结果,游戏团队需要做什么事情?我们可以大致拆分成三个过程:

  1. 在游戏开发阶段埋点
  2. 在各个渠道收集数据
  3. 对数据进行多维度的分析,拿到结果采取行动

screenshot

在整个过程中串起用户端和服务端最重要的点就是数据。

游戏中的两种状态:切片(Snapshot)状态和增量日志

为了更好理解日志和游戏的关系,让我们来看下什么是日志数据,和游戏之间是什么关系:

游戏在用户端看起来是两个行为的交替:行动、绘图。当移动鼠标、点击键盘时我们改变了主人公位置和状态,之后渲染引擎进行了绘图。我们可以在一个时间点上对游戏的状态进行采样,例如10:06分,游戏中所有主人公的位置、金钱和手持武器如下,状态反映一个时间点下系统的全貌。

日志是状态与状态之间的变化量。例如10点-10点06分这个时间上用户做了哪些操作?日志相比状态最大的好处是,能够记录整个细节。

screenshot

除了刚才提到的帮助运营、渠道更高效地运作,日志对游戏还有什么作用?

  1. 帮助用户:

    • 找寻丢失:装备掉了
    • 修复数据:机器当机数据丢失了,可以通过日志来进行还原
  2. 定位异常:

    • 找到偷盗、作弊等行为
  3. 广告;

    • 没有打赢Boss:缺少什么道具
    • 用户画像:年龄、性别、什么是你的菜?
  4. 日志可以帮助运维

    • 用户反映卡,在什么环节
    • 登陆失败,背后是什么原因

日志处理面临的多种挑战

日志有那么多的作用,那处理起来有哪些挑战呢?

第一个挑战和产生相关,游戏涉及到方方面面的合作。例如涉及游戏发行商、移动端、网页端、服务器端等。因此要从多个维度、多个渠道来收集日志,对于每一种日志有独特处理方法:例如为了分析渠道我们需要在网页埋点;为了拿到用户的行为,我们需要从移动设备、服务端等记录玩家轨迹;为了分析服务的稳定性,我们需要观察请求的延时等特点。

在这里我们需要使用一个统一的数据模型,支持各个渠道的数据通道来完成统一大事。

第二个挑战来自规模、性能和稳定性:举一个直观例子,假设每秒钟我们需要收集一个用户1KB数据,在100W玩家同时在线的情况下,这个数字就是100MB/S处理流量,这个量挑战不小。如何在数据规模增长的情况下,保持性能的稳定性,是工程师需要关注的。

第三个挑战来自于需求,在之前我们提到了游戏团队中不同人对于需求的产出是不同的。比如对访问日志,运营的需求是统计活跃人数比例,运维关系的是延迟和访问状态,开发关心的点是哪些资源是热点,需要进行优化。因此我们需要对一份数据,支持多种处理、统计的方法。

阿里云日志服务

我们来看看阿里云日志服务(LOG)怎么帮助解决这类问题。在开放在阿里云官网之前,日志服务已经在阿里巴巴内部经历了3年多的历练,达到行业领先的水平。在游戏日志分析的场景中也能够发挥巨大作用。

日志服务主要提供三个主要功能:

  • 日志收集与实施消费(LogHub:日志中枢通道)
  • 打通日志与数据仓库(LogShipper:日志投递)
  • 提供海量日志查询与分析(LogSearch,日志检索)

LogHub是日志服务最核心的功能,他将日志源与日志消费者通过统一数据模型串联起来。最大好处是把数据管道化,标准化。这根管道是大容量、高可靠、并且弹性伸缩的,用户不用去关心数据量、如何接上等问题,就能直接使用。LogHub有10+种语言SDK,提供Agent并支持第三方Agent、Syslog,WebTracking等协议。在消费端对接了10+种下游,包括开源界非常火的Spark、Storm等流处理框架。

LogShipper提供了LogHub管道数据落地到存储的功能。目前与OSS、ODPS、OTS等海量存储系统打通。可以通过MapReduce、Hive等方式进行数据处理与分析。

LogSearch是一个附加功能,可以选择将LogHub中数据索引并查询,例如我们对App、Error等日志进行索引,可以在发生问题时进行快速定位于查询。在阿里内部我们将关键日志从几千台机器中集中式收集并索引,达到百TB规模。

screenshot

LogHub(日志通道)与日志基础概念

日志是一个单调递增,完全按照时间排序的一系列记录。看起来如下:

screenshot

日志顺序由“时间”来确定,从图上可以看到日志从右到左的时间顺序,新产生的事件被记录,过去的事件渐渐远去,但它记录了什么时间发生了什么事情,这无论对于计算机、人类、还是整个世界而言,是认知与推理的基础。

日志通道(LogHub)基本概念和数据模型如下:

  1. 日志(Log):日志为日志服务中处理的最小数据单元。日志服务采用半结构数据模式定义一条日志,包含时间字段以及一个Json组成的KeyValue Pair
  2. 日志组(LogGroup):一组日志的集合,写入与读取的基本单位。日志组限制为:最大4096行日志,或10MB空间。
  3. 分区(Shard):每个日志库下读写基本单元,用户可以指定每个日志库下分区数目。每个分区能承载一定量的服务能力
  4. 日志库(Logstore):日志库为日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。用户可以根据实际需求为某一个项目生成多个日志库,其中常见的做法是为一个应用中的每类日志创建一个独立的日志库。例如,假如用户有一个“big-game”游戏,服务器上有三种日志:操作日志(operation_log),应用程序日志(application_log)以及访问日志(access_log),用户可以首先创建名为“big-game”的项目,然后在该项目下面为这三种日志创建三个日志库,分别用于它们的收集、存储和查询。
  5. 项目(Project):项目为日志服务中的基本管理单元,用于资源隔离和控制。用户可以通过项目来管理某一个应用的所有日志及相关的日志源。

screenshot

LogHub有哪些优势?

  1. 稳定、可靠、高性能
    在阿里集团锤炼多年,经受过PB/Day 级流量考验。特别是客户端的性能和资源消耗,是开源软件的10倍以上。

screenshot

  1. 弹性伸缩:当因为业务变化引起数据量变化时,可以从容应对。

screenshot

  1. 丰富的上下游
  • 支持移动端、网页、交换机、设备(ARM平台)等
  • 与ECS、MNS、OSS、CDN、ContainerService天然打通;与Spark,Storm,OSS,OTS,E-MapReduce,MaxCompute轻松对接
  • 支持Unity3D等游戏开发SDK
  • 支持LogAgent,Logstash,Log4J,SysLog等系统

screenshot

除LogHub外,简单提下LogShipper和LogSearch功能

LogShipper是LogHub产品附加功能,支持将实时日志数据投递至存储类服务(OSS,ODPS, OTS),以进行离线分析与计算。最大的好处是0成本、便捷、可靠、高吞吐率。

screenshot

LogSearch(原SLS) 能够实时索引日志数据,规模可达一天百TB水平,提供便捷、海量的查询能力。它主要弥补LogHub实时性与LogShipper投递数仓之间的空缺,既提供一种轻量级的准实时查询能力。
例如在游戏开发过程中我们会有非常多的系统,分布在不同的机器上。我们只需要把这些系统日志收集、索引起来。通过搜索用户的ID、状态等就能够快速定位到用户的行为特征。

screenshot

在数字世界乘风破浪

最后,让我们来看一下游戏中日志方案的一个典型架构,以及总结下游戏场景日志分析的过程:

  • 在程序中埋入日志
  • 收集日志
  • 分析日志(查询、统计、报表、告警等)+ 行动

screenshot

更多感兴趣内容可以关注,谢谢大家!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
21天前
|
监控
莉莉丝-游戏用户日志分析
莉莉丝游戏用户日志分析案例图
|
15天前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
|
2月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
37 3
|
2月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
2月前
|
监控 安全 关系型数据库
在Linux中,什么是系统日志和应用程序日志?如何分析它们?
在Linux中,什么是系统日志和应用程序日志?如何分析它们?
|
2月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
2月前
|
算法 关系型数据库 程序员
第一周算法设计与分析:A : log2(N)
这篇文章介绍了解决算法问题"输入一个数N,输出log2N(向下取整)"的三种编程思路,包括使用对数函数和幂函数的转换方法,以及避免浮点数精度问题的整数逼近方法。
|
2月前
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
2月前
|
存储 监控 数据可视化
在Linux中,有哪些日志管理和分析工具?
在Linux中,有哪些日志管理和分析工具?

相关产品

  • 日志服务
  • 下一篇
    无影云桌面