拥抱Data+AI|玩家去哪儿了?解码Data+AI如何助力游戏日志智能分析

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 「拥抱Data+AI」系列第2篇:阿里云DMS+AnalyticDB助力游戏日志数据分析与预测

导 语

本文为数据库「拥抱Data+AI」系列连载第2篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本文将详细探讨如何利用阿里云Data+AI解决方案来应对游戏行业挑战,并借助AI为游戏行业注入新的活力。


往期内容推荐:

《大咖说|Data+AI:企业智能化转型的核心驱动力》

《如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策》

行业趋势

随着互联网游戏行业的迅猛发展,数据量也在急剧增加。这种增长不仅是因为玩家数量的增多和在线时间的增长,还归因于游戏内集成的丰富数据驱动型功能,如个性化推荐、动态难度调整、虚拟经济系统、实时多人互动以及行为追踪分析等。这些功能提升了玩家的游戏体验,但同时也要求处理和存储更多的数据,给管理和成本带来了新的挑战。


尽管海量的数据带来了挑战,但也蕴藏着巨大的价值与机会。除了支持游戏内的各种数据驱动功能外,游戏公司还能通过数据分析更深刻地理解用户的行为和偏好,从而优化游戏设计,提升用户体验,并通过精准营销增加收入。对数据进行更深入的挖掘,企业还可以识别出影响用户留存的关键因素,找到提高用户参与度的最佳策略,并预测未来的市场趋势和用户行为,进而增强产品的竞争力和市场影响力。


面对由海量数据带来的挑战与机遇,如何聚焦于关键数据类型,解决管理与技术上的难题,并持续高效地发掘数据的价值,成为了游戏企业关注的重点问题。本文将详细探讨如何利用阿里云Data+AI解决方案来应对这些挑战,并借助AI为游戏行业注入新的活力。

技术挑战

在游戏行业产生的海量数据中,日志类数据扮演着至关重要的角色。日志类数据记录了玩家行为、游戏运行状态及系统性能等关键信息。这类数据通常包括游戏玩家登录与退出时间、游戏角色的成长轨迹(如等级提升)、虚拟物品交易详情、玩家间的互动记录(如聊天或组队)以及游戏内发生的各种事件(如任务完成情况)。此外,还包括了技术侧采集的数据,如服务器响应时间、网络延迟状况等,这些数据可以被广泛应用到用户分析体验、产品功能优化、潜在问题识别、运营策略制定等。


随着日志数据量的激增和分析需求的提升,用户需要在性能和成本中做出平衡,寻求更优质的高性价比解决方案。在某头部游戏客户的日志分析场景中,面临以下挑战:

  • 数据存储成本高:在玩家的投诉判定、审计合规等场景中,都可能需要进行日志的回溯,所以游戏产生的日志数据需要全量存储,存储成本随之增加。
  • 实时查询性能提升:为了及时响应突发问题,需要从海量日志数据中快速处理和分析,分析性能需要有保障。
  • 数据开源开放:游戏企业内部存在多个业务团队,不同业务团队使用的分析引擎可能是不同的,一份全量日志的存储,需要支持上层多种计算引擎访问。
  • 结合AI增强数据洞察力:传统BI分析侧重历史数据的汇总和展示,可帮助决策者了解过去一段时间的业务表现,但不具备预测能力,通常依赖业务方经验来进行未来趋势的判断;结合AI进行预测,能有效提升预测准确性,在游戏行业中,常见的有用户行为预测、付费用户预测、付费金额预测、玩家流失预测等。

阿里云 Data+AI 解决方案

阿里云瑶池数据库提供“DMS+X:统一、开放、多模的Data+AI数据管理服务”。该平台简化了数据管理与AI开发,实现DMS+X一站式的Data+AI全生命周期管理。在DMS+X之上,阿里云将助力企业数据以最快的速度拥抱AI,落地业务,产生价值。


针对游戏行业的以上问题,阿里云瑶池数据库DMS+AnalyticDB MySQL(以下简称ADB MySQL)提供了解决方案。

image.png

日志数据实时接入

游戏日志低成本归档

阿里云日志服务(SLS)常用来做应用端游戏日志的采集,下游可再接入分析类引擎做进一步的处理和查询。阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL,提供SLS/Kafka日志类数据实时接入内部仓存储/湖存储的能力,自动生成元数据,数据直接可查,简单易用的白屏化操作,用户可按需选择目标端存储,游戏全量日志可选择入湖,以开源Iceberg格式写入到内部湖存储,同步性能可达每秒GB级吞吐,数据可见延迟小于5min,存储成本低(与OSS对齐),并提供湖管理功能,包含数据文件合并、生命周期管理、缓存设置等,有效降低存储成本,提升湖查询性能。

image.png

日志数据高效查询

ADB MySQL有两类计算引擎,分别是自研的XIHE引擎和开源的Spark引擎,用户可根据实际需求和场景,选择不同的引擎来进行数据处理和分析。基于ADB湖表,通过缓存层进行查询预热,可满足大部分秒级/分钟级耗时诉求;用户也可选择创建仓表,来实现亚秒级的实时分析。

image.png

日志数据开源开放

ADB湖存储的数据格式为开源Iceberg + Parquet,提供HMS和OSS/HDFS开放接口,外部计算引擎可直接访问数据;同时湖存储和实例不强绑定,不同的湖存储Bucket可挂载到不同的实例,实现数据共享。

image.png

AI场景落地

除了BI分析场景以外,存储在ADB MySQL中的日志数据,可通过DMS+AnalyticDB 一站式实现数据特征处理、模型训练、评估及预测,落地AI模型应用。在ADB MySQL中仅通过SQL语句即可完成端到端的数据处理和模型开发,支持通过SQL来导入和训练模型, 也支持调用远程推理服务;同时ADB MySQL提供全托管的AI资源服务,用户无需关心底层资源部署,专注业务应用开发。


以下为模型创建和预测的SQL语法示例:

/* 创建模型 */
create model bstdemo.bst 
options (
  model_type='xx',
  feature_cols=(event_list),
  target_cols=(target),
  hyperparameters = (
    use_best_ckpt = 'False',
    early_stopping_patience='0'
  )
)as select event_list, target from bstdemo.test;
/* 使用普通函数实现模型预测 */
SELECT ml_predict(
  '[db.]model_name:v2',  -- 模型名称&版本
  ['{options}'|NULL],  -- 一些可能的额外配置,例如攒批大小,没有可以为null
  -- 后面是要传递给模型的列,可以是任意合法的project表达式,不定长
  <column_name1>,
  ...,
) as col_name FROM event_table;


结合DMS构建完整Data+AI方案,可进一步实现数据处理链路和模型训练链路一体化的编排调度,从数据接入,处理到模型训练,上线和推理实现全自动周期运行。通过模型中心统一管理AI核心资产,包括模型的效果展示,模型组和模型版本管理。支持模型部署和回滚,模型可以发布为在线推理服务,衔接大模型工具链统一编排实现智能应用体落地。整套方案提供数据资产的全粒度权限管理,支持私有部署在客户VPC环境,数据和模型不出域,实现全套方案的数据安全,有效保护客户隐私。


使用DMS+AnalyticDB MySQL游戏日志场景的AI平台,提供AI节点资源,内置算法模型,可通过DMS界面进行模型开发,用户无需自行搭建机器学习平台,有效降低开发成本。


以某头部游戏客户实际落地效果为例,在玩家流失预测和玩家付费预测场景中,模型效果F1 Score均从40%提升到70%+。

image.png

总结与展望

针对游戏行业的日志存储、分析和预测场景,阿里云瑶池数据库提供完整的Data+AI解决方案及落地最佳实践,可以同时满足数据在线处理、实时分析和智能化AI实践,大大降低了企业及开发和运维成本。


Data+AI为企业提供了新的增长途径,企业必须认识到Data+AI的重要性,并将其作为战略实施重点,促进智能化转型以保持竞争力和市场领导地位,迎接新的机遇。


ADB MySQL AI节点也提供多种使用形态,除了上述提到的MLSQL以外,还支持Spark on GPU,即通过Spark MLlib进行开发等,配合ADB现有的分析能力为用户提供Data + AI应用的轻量化端到端方案。


点击链接获取Data+AI解决方案,我们将为您提供专家咨询服务。前50位咨询并且扫描下方二维码加入交流群的小伙伴还将获得 精美礼品 一份,先到先得!

image.png

*图片仅供参考,最终以实际发放礼品为准

image.png

欢迎加入「阿里云 Data+AI 用户交流群」钉钉搜索群号“79045023716”或扫描上方二维码即可入群

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
13天前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
6天前
|
人工智能 自然语言处理 关系型数据库
从数据到智能,一站式带你了解 Data+AI 精选解决方案、特惠权益
从 Data+AI 精选解决方案、特惠权益等,一站式带你了解阿里云瑶池数据库经典的AI产品服务与实践。
|
6天前
|
存储 人工智能 关系型数据库
拥抱Data+AI|玩家去哪儿了?解码Data+AI如何助力游戏日志智能分析
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第2篇,基于真实客户案例和最佳实践,探讨如何利用阿里云Data+AI解决方案应对游戏行业挑战,通过AI为游戏行业注入新的活力。文章详细介绍了日志数据的实时接入、高效查询、开源开放及AI场景落地,展示了完整的Data+AI解决方案及其实际应用效果。
|
11天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
115 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
216 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
131 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1623 14
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
30 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
192 0
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
40 0

热门文章

最新文章