游戏分发市场打包OSS-UDF改造方案

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 原作者:高级阿里云解决方案架构师,远途。对于应用市场来说,怎样管理成千上万的渠道包,并最大限度的节省成本,采用OSS+UDF方案是一个不错的选择。

游戏渠道打包业务架构图

826e15f1c80bbf14fc644740ef42b8d5bdcec2b6

主要痛点

产品流量限制

ECS内网限流500M,打包集群用8台ECS、合计4Gbps的带宽峰值,在打包业务峰值时也不够处理,继续扩展ECS又会达到OSS的单用户吞吐量上限,业务进一步扩展遇到瓶颈。

存储成本

分发市场一般会对接上千个渠道,一款爆款游戏需要打上百个渠道包,所以存储量百倍提升,成本压力较大。

OSS-UDF方案

OSS-UDF((User Defined Function))是OSS团队针对存储内容有轻量计算需求所提供的产品化解决方案。
UDF程序是一个运行在OSS服务器端的用户自定义的处理程序,OSS在收到用户的UDF请求后,会转发给用户的UDF程序,对存储内容进行诸如解压、转码、图像处理等处理,并在处理完成后将结果返回给用户。
使用UDF,必须按照OSS的UDF协议来开发UDF程序、并将UDF程序托管到OSS;包括UDF程序的规范、托管方法、客户端调用规范。

利用UDF改造渠道打包系统

1 以熟悉的编程语言开发好UDF程序,假设叫做BuildChannel,该程序需要监听9000端口,能够接收HTTP POST请求,内容是对一个原始的游戏包做渠道包打包操作(新型的渠道包打包基本是在原始渠道包文件后attatch一段渠道信息)
2 通过一个YAML格式的文件,用户配置OSS安装必要的依赖,最终BuildChannel要能直接运行于Ubuntu 14.04。
3 注册BuildChannel,后续控制台会开放标准注册页面和API,当前阶段线下配置;
4 客户端根据UDF协议调用,获取渠道YYY包的调用形式如下(其中jsonParaYYY是json组装的YYY渠道包必要信息): 
GET http://bucketName.oss-cn-hangzhou.aliyuncs.com/game.apk?x-oss-process=udf/BuildChannel,jsonParaYYY
5 OSS接到调用,将UDF请求解析出来POST给UDF程序,处理完成后,OSS调用将直接返回打好渠道信息的安装包

改造方案解析

UDF只适合对单体资源对象做简单处理的场景,因为UDF的调用时间包含在OSS调用的返回时间内,如果需要较长时间(涉及复杂计算场景、批量资源)的调用不合适使用UDF。
绝大部分数量的游戏包只用存储1份原始包、以及少量不能用UDF构建的渠道包,存储空间比起全部静态打包的方式,缩减到1/N,极好替用户节省了成本。可以有效减少打包服务器ECS数量。
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
目录
相关文章
|
8月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
787 2
|
8月前
|
存储 Prometheus 监控
OSS监控体系搭建:Prometheus+Grafana实时监控流量、错误码、存储量(开源方案替代云监控自定义视图)
本方案基于Prometheus构建OSS监控系统,涵盖架构设计、指标采集、可视化、告警及性能优化,助力企业实现高可用、低成本的自建监控体系。
843 1
|
8月前
|
存储 运维 分布式计算
OSS迁移实战:从自建MinIO到阿里云OSS的完整数据迁移方案
本文介绍了从自建MinIO迁移至阿里云OSS的完整方案,涵盖成本优化、稳定性提升与生态集成需求。通过双写代理、增量同步、分层校验等技术,解决数据一致性、权限迁移、海量小文件处理等挑战,实现业务零中断与数据强一致性,最终达成79%的TCO降低和显著性能提升。
2132 0
|
11月前
|
关系型数据库 数据库 对象存储
Dify实践|Dify on DMS+对象存储OSS,实现多副本部署方案
本文介绍了在DMS上部署Dify的详细步骤,用户可选择一键购买资源或基于现有资源部署Dify,需配置RDS PostgreSQL、Redis、AnalyticDB for PostgreSQL等实例,并设置存储路径和资源规格。文中还提供了具体配置参数说明及操作截图,帮助用户顺利完成部署。
|
存储 人工智能 数据管理
云端问道17期方案教学-AI场景下的对象存储OSS数据管理实践
本文介绍了AI场景下的对象存储OSS数据管理实践,由阿里云技术专家明锦分享。主要内容分为两部分:1) AI场景下对象存储实践方案,包括对象存储的应用、优势及在模型推理中的优化;2) OSS常用工具介绍,如OSSFS、Python SDK、Go SDK等,并详细说明了这些工具的特点和使用场景。文中还探讨了不同模式下的性能优化,以及即将推出的OS Connector for AI/ML工具,旨在提升数据下载速度和IO性能。
337 0
|
监控 Java Serverless
函数计算产品使用问题之对于OSS打包的zip的保存目录,该如何操作
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
247 6
|
Java Serverless 数据库连接
函数计算操作报错合集之调用打包的OSS函数时发生报错,该怎么办
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
278 2
|
JavaScript Java Serverless
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
323 0
|
存储 Kubernetes 对象存储
Kubernetes版本对接对象存储几种方案
Kubernetes版本对接对象存储几种方案
|
存储 弹性计算 Serverless
使用函数计算打包下载OSS文件
本场景介绍如何使用函数计算将对象存储OSS上多个文件(Object)打包下载到本地。