客户背景
客户简介
诗悦网络，成立于2014年，是专注于精品手游研发和全球化发行的研运一体公司，团队规模超千人。以“精品游戏探索者”为研发理念，以“给玩家以快乐，给团队以成长”为核心价值观。诗悦陆续推出了多款高人气的精品游戏，包括《长安幻想》、《永夜降临：复苏》、《最后的原始人》、《云上城之歌》、《斗罗大陆：武魂觉醒》、《轩辕剑：剑之源》、《闪烁之光》、《仙凡幻想》、《仙灵觉醒》等，产品类型涵盖二次元、回合制、ARPG、放置卡牌、ACT等。
客户行业
游戏行业
客户业务场景
用户画像、报表、指标平台
客户痛点及面临的挑战
诗悦游戏团队原基于半托管Starrocks构建数据平台（赤霄），本次架构升级希望解决现有高成本、难运维、稳定性差等诸多痛点的同时做稳定性、安全性、性能、成本等多方面的升级，以此来支撑未来将要发布的开放世界游戏PB级项目《望月》。
技术层面核心痛点
- 原架构存算一体，数据三副本存储在本地盘上存储成本高。
- 原Starrocks半托管形态，运维成本高，每次扩容/升级投入人力高。
- 原架构在不同业务间缺少资源隔离能力，造成资源争抢现象，使得集群稳定性差。
- 目前架构可扩展性较差，难以支撑未来《望月》项目，急需做架构升级，应对PB级数据大规模存储和计算。
业务层面核心痛点
- 业务侧查询响应慢。
- 由于业务的不断发展对数据的准确性、实时性要求更高。
阿里云解决方案
产品： DLF、 Serverless Spark、Flink、Serverless StarRocks、DataWorks
技术：
- 数仓层面：阿里云ServerlessStarrocks替换半托管StarRocks。存算分离，支持多计算组资源隔离、支持可视化的缓存管理等。以更高的性能支持赤霄平台稳定运行。
- 数据湖层面：支持数据流式入湖，做流式ETL。使用DLF Paimon湖格式，支持多引擎访问，Spark支持大规模数据ETL，为未来PB级项目《望月》奠定基础。
业务：
- 实时业务：Flink—>Serverless StarRocks存算分离
- 近实时业务：Flink/DataWorks数据集成—>DLF Paimon—>StarRocks存算分离
- 离线业务：DataWorks数据集成—>DLF Paimon—>Spark
方案架构图：
解决方案提供的核心价值
- 成本降低: 总成本降低38%。计算性能提升将计算资源下降17%。采用存算分离架构将存储由三副本降低为单副本，降本66%。
- 简化运维：Serverless StarRocks全托管免运维，原集群每三个月需要扩容新增一个BE节点，扩容提速99%（由原本的一周时间降低至5分钟），降低整体运维成本。
- 稳定性和高可用： 多warehouse资源隔离，避免业务间资源争抢 。支持跨可用区容灾，灾难级故障时具有逃逸能力。灾难级故障RTO（服务中断容忍）≤31分钟，RPO（数据丢失容忍）=0，增强集群的稳定性和高可用。
- 性能提升： TP99降低40%（由9.7s降低至3.8s）；TP95降低45%（由3.1s降低至1.6s）；每日慢响应下降40%（100分钟到60分钟）
- 数据工具：保证数据安全、数据质量，支持持久的数据资产治理。
- 技术架构升级：架构升级OpenLake方案，存算分离数仓StarRocks+流式数据湖Paimon，面向未来的开放式可扩展架构，以低成本+高稳定性+高性能承接未来PB级项目《望月》。
DLF提供的其他价值
- 统一元数据和数据权限管理，提升安全，简化管理过程
- 统一元数据，引擎平权做数据处理
- 统一权限，一次数据授权操作，多引擎围绕授权使用
- 降低Paimon维护成本，提升读性能
- 支持自适应compaction，提升查询性能、降低存储成本、简化运维
- 支持自适应bucket分配，不需做bucket数量分配及bucket数量调整等复杂操作，降低维护成本
- 简化Snapshot、Partition、orphanFile管理，降低使用成本
- 一套catalog管理全模态数据，提供tables和files两层接口
- 一套Catalog下支持Paimon表、Iceberg表、Lance表、Object表及相关生态；
- 一套catalog下支持Parquet、CSV、ORC等类Hive表，即Format Table。
