导 语
本文为数据库「拥抱Data+AI」系列连载第2篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。
本文将详细探讨如何利用阿里云Data+AI解决方案来应对游戏行业挑战,并借助AI为游戏行业注入新的活力。
往期内容推荐:
《如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策》
1行业趋势
随着互联网游戏行业的迅猛发展,数据量也在急剧增加。这种增长不仅是因为玩家数量的增多和在线时间的增长,还归因于游戏内集成的丰富数据驱动型功能,如个性化推荐、动态难度调整、虚拟经济系统、实时多人互动以及行为追踪分析等。这些功能提升了玩家的游戏体验,但同时也要求处理和存储更多的数据,给管理和成本带来了新的挑战。
尽管海量的数据带来了挑战,但也蕴藏着巨大的价值与机会。除了支持游戏内的各种数据驱动功能外,游戏公司还能通过数据分析更深刻地理解用户的行为和偏好,从而优化游戏设计,提升用户体验,并通过精准营销增加收入。对数据进行更深入的挖掘,企业还可以识别出影响用户留存的关键因素,找到提高用户参与度的最佳策略,并预测未来的市场趋势和用户行为,进而增强产品的竞争力和市场影响力。
面对由海量数据带来的挑战与机遇,如何聚焦于关键数据类型,解决管理与技术上的难题,并持续高效地发掘数据的价值,成为了游戏企业关注的重点问题。本文将详细探讨如何利用阿里云Data+AI解决方案来应对这些挑战,并借助AI为游戏行业注入新的活力。
2技术挑战
在游戏行业产生的海量数据中,日志类数据扮演着至关重要的角色。日志类数据记录了玩家行为、游戏运行状态及系统性能等关键信息。这类数据通常包括游戏玩家登录与退出时间、游戏角色的成长轨迹(如等级提升)、虚拟物品交易详情、玩家间的互动记录(如聊天或组队)以及游戏内发生的各种事件(如任务完成情况)。此外,还包括了技术侧采集的数据,如服务器响应时间、网络延迟状况等,这些数据可以被广泛应用到用户分析体验、产品功能优化、潜在问题识别、运营策略制定等。
随着日志数据量的激增和分析需求的提升,用户需要在性能和成本中做出平衡,寻求更优质的高性价比解决方案。在某头部游戏客户的日志分析场景中,面临以下挑战:
- 数据存储成本高:在玩家的投诉判定、审计合规等场景中,都可能需要进行日志的回溯,所以游戏产生的日志数据需要全量存储,存储成本随之增加。
- 实时查询性能提升:为了及时响应突发问题,需要从海量日志数据中快速处理和分析,分析性能需要有保障。
- 数据开源开放:游戏企业内部存在多个业务团队,不同业务团队使用的分析引擎可能是不同的,一份全量日志的存储,需要支持上层多种计算引擎访问。
- 结合AI增强数据洞察力:传统BI分析侧重历史数据的汇总和展示,可帮助决策者了解过去一段时间的业务表现,但不具备预测能力,通常依赖业务方经验来进行未来趋势的判断;结合AI进行预测,能有效提升预测准确性,在游戏行业中,常见的有用户行为预测、付费用户预测、付费金额预测、玩家流失预测等。
3阿里云 Data+AI 解决方案
阿里云瑶池数据库提供“DMS+X:统一、开放、多模的Data+AI数据管理服务”。该平台简化了数据管理与AI开发,实现DMS+X一站式的Data+AI全生命周期管理。在DMS+X之上,阿里云将助力企业数据以最快的速度拥抱AI,落地业务,产生价值。
针对游戏行业的以上问题,阿里云瑶池数据库DMS+AnalyticDB MySQL(以下简称ADB MySQL)提供了解决方案。
日志数据实时接入
游戏日志低成本归档
阿里云日志服务(SLS)常用来做应用端游戏日志的采集,下游可再接入分析类引擎做进一步的处理和查询。阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL,提供SLS/Kafka日志类数据实时接入内部仓存储/湖存储的能力,自动生成元数据,数据直接可查,简单易用的白屏化操作,用户可按需选择目标端存储,游戏全量日志可选择入湖,以开源Iceberg格式写入到内部湖存储,同步性能可达每秒GB级吞吐,数据可见延迟小于5min,存储成本低(与OSS对齐),并提供湖管理功能,包含数据文件合并、生命周期管理、缓存设置等,有效降低存储成本,提升湖查询性能。
日志数据高效查询
ADB MySQL有两类计算引擎,分别是自研的XIHE引擎和开源的Spark引擎,用户可根据实际需求和场景,选择不同的引擎来进行数据处理和分析。基于ADB湖表,通过缓存层进行查询预热,可满足大部分秒级/分钟级耗时诉求;用户也可选择创建仓表,来实现亚秒级的实时分析。
日志数据开源开放
ADB湖存储的数据格式为开源Iceberg + Parquet,提供HMS和OSS/HDFS开放接口,外部计算引擎可直接访问数据;同时湖存储和实例不强绑定,不同的湖存储Bucket可挂载到不同的实例,实现数据共享。
AI场景落地
除了BI分析场景以外,存储在ADB MySQL中的日志数据,可通过DMS+AnalyticDB 一站式实现数据特征处理、模型训练、评估及预测,落地AI模型应用。在ADB MySQL中仅通过SQL语句即可完成端到端的数据处理和模型开发,支持通过SQL来导入和训练模型, 也支持调用远程推理服务;同时ADB MySQL提供全托管的AI资源服务,用户无需关心底层资源部署,专注业务应用开发。
以下为模型创建和预测的SQL语法示例:
/* 创建模型 */ create model bstdemo.bst options ( model_type='xx', feature_cols=(event_list), target_cols=(target), hyperparameters = ( use_best_ckpt = 'False', early_stopping_patience='0' ) )as select event_list, target from bstdemo.test; /* 使用普通函数实现模型预测 */ SELECT ml_predict( '[db.]model_name:v2', -- 模型名称&版本 ['{options}'|NULL], -- 一些可能的额外配置,例如攒批大小,没有可以为null -- 后面是要传递给模型的列,可以是任意合法的project表达式,不定长 <column_name1>, ..., ) as col_name FROM event_table;
结合DMS构建完整Data+AI方案,可进一步实现数据处理链路和模型训练链路一体化的编排调度,从数据接入,处理到模型训练,上线和推理实现全自动周期运行。通过模型中心统一管理AI核心资产,包括模型的效果展示,模型组和模型版本管理。支持模型部署和回滚,模型可以发布为在线推理服务,衔接大模型工具链统一编排实现智能应用体落地。整套方案提供数据资产的全粒度权限管理,支持私有部署在客户VPC环境,数据和模型不出域,实现全套方案的数据安全,有效保护客户隐私。
使用DMS+AnalyticDB MySQL游戏日志场景的AI平台,提供AI节点资源,内置算法模型,可通过DMS界面进行模型开发,用户无需自行搭建机器学习平台,有效降低开发成本。
以某头部游戏客户实际落地效果为例,在玩家流失预测和玩家付费预测场景中,模型效果F1 Score均从40%提升到70%+。
4总结与展望
针对游戏行业的日志存储、分析和预测场景,阿里云瑶池数据库提供完整的Data+AI解决方案及落地最佳实践,可以同时满足数据在线处理、实时分析和智能化AI实践,大大降低了企业及开发和运维成本。
Data+AI为企业提供了新的增长途径,企业必须认识到Data+AI的重要性,并将其作为战略实施重点,促进智能化转型以保持竞争力和市场领导地位,迎接新的机遇。
ADB MySQL AI节点也提供多种使用形态,除了上述提到的MLSQL以外,还支持Spark on GPU,即通过Spark MLlib进行开发等,配合ADB现有的分析能力为用户提供Data + AI应用的轻量化端到端方案。