发光的二次元——克拉克拉上云实践

简介: MaxCompute提供完善的数据导入方案以及多种经典的分布式计算模型,可快速解决克拉克拉所面临的海量数据的计算问题,有效降低企业成本并保障数据安全。对于使用方的我们不必关心分布式计算和维护细节便可轻松完成大数据分析,最终我们采用阿里云MaxCompute方案进行数据上云。

作者:田亮 深圳市有信网络 大数据团队负责人

克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能,满足当下年轻用户个性化、碎片化的文娱需求。随着业务规模增长,海量数据存储与计算的瓶颈也日益突出,由于单台服务器的处理能力有限,海量数据的分析需要分布式计算模型。分布式的计算模型对数据分析人员要求较高且不易维护:数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。MaxCompute提供完善的数据导入方案以及多种经典的分布式计算模型,可快速解决克拉克拉所面临的海量数据的计算问题,有效降低企业成本并保障数据安全。对于使用方的我们不必关心分布式计算和维护细节便可轻松完成大数据分析,最终我们采用阿里云MaxCompute方案进行数据上云。

一、数据上云

克拉克拉(KilaKila)数据源主要分为两部分:1.结构化业务数据表(MySQL);2.非结构化用户行为日志

 结构化业务库上云主要使用阿里云datax、DTS两种工具。
image.png

▲图一:datax数据同步

datax原理是将MySQL数据完全透明化同步至MaxCompute数据表中,是表对表的映射。

image.png

▲图二:DTS数据同步

DTS主要以MySQL binlog方式来进行数据同步,该同步的优势在于不会影响线上生产环境MySQL库I/O压力,与此同时对于删除操作也会进行实时同步。

 用户行为日志上云,该日志主要使用阿里云日志服务(Log Service)组件。该组件除了满足将海量日志存储在MaxCompute数据仓库中外,也解决了实时业务计算需求,如storm集群。

image.png

▲图三:Log Service工作流
image.png

▲图四:日志服务各Topic日志源
image.png

▲图五:克拉克拉用户行为日志片段

二、数据计算

为满足各类批处理计算业务需求,基于MaxCompute建立了小时维度、天维度、月维度等不同维度的工作流以及业务流程。在数据开发阶段我们使用MaxCompute的Web datawork进行任务开发、任务运维、任务监控等。

image.png

▲图六:datawork SQL开发
在datawork中可以创建SQL脚本,通过编写SQL语言满足我们的临时查询需求。

image.png

▲datawork工作流

在datawork中可以根据业务场景配置工作流,解决生产环节中所面临的定时计算任务等诉求。

image.png

图七:datawork运维中心
运维中心可实时监控任务的状态,对应不同的任务状态进行不同情况的报警;
综上所诉,得益于datawork强大的数据开发多样性和丰富的内置函数,我们可以针对不同业务场景进行快速的项目开发和上线。

三、克拉克拉业务应用场景

克拉克拉(KilaKila)在实际生产环境中,主要有以下四个数据业务应用场景。如下:

  1. 报表系统
    image.png

▲图八:克拉克拉BI报表系统架构

基于MaxCompute与quickBI组合快速构建了业务报表系统。该系统通过datawork部署系列报表计算任务,最终的计算结果可存储MaxCompute表中以及MySQL表中。quickBI通过数据源关联即可实现前端趋势图灵活展示。

image.png

图八:克拉克拉BI报表系统

  1. 克拉克拉(KilaKila)榜单业务

image.png

图九:克拉克拉榜单业务计算场景

通过MaxCompute满足了克拉克拉主播排行榜、热门榜单等排序业务。

  1. 对外开放接口平台(Restful API )
    为了满足第三方通过API接口获取克拉克拉数据仓库中的用户标签数据,基于MaxCompute Lightning架构搭建开放接口服务,通过该服务的网关鉴权机制保证了授权访问和防DDOS攻击。

image.png

图九:克拉克拉开放接口结构

4.算法业务
阿里云机器学习平台是构建在阿里云MaxCompute(原ODPS)计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。克拉克拉(KilaKila)预测算法业务、推荐业务等相关项目均建立在机器学习平台基础上,项目上线快且效果符合预期。

image.png

▲图九:克拉克拉短视频推荐业务
image.png

图十:克拉克拉渠道ROI预测业务
通过阿里云所提供大数据解决方案,除了解决了克拉克拉所遇到的大数据挑战,也极大的缩短了克拉克拉(Kilakila)诸多数据项目从想法到落地的研发周期。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 编解码 算法
H.264编码及AAC编码基础 1
H.264编码及AAC编码基础
1052 0
|
Kubernetes Cloud Native jenkins
|
运维 网络虚拟化 5G
带你读《ONAP技术详解与应用实践》之一:网络自动化挑战及ONAP介绍
国内首部系统剖析ONAP的书籍,也是理论性与实战性兼具的网络自动化实践指导书!本书详细全面地介绍了网络自动化的挑战和发展趋势,以及ONAP的概况、架构设计理念、设计原则、各模块实现细节、关键特性、应用场景和案例实践等。通过本书读者可以深入理解ONAP,提升对网络自动化及相关领域的认知。作者及其团队成员均是华为网络开源领域的专家,长期参与社区的治理、贡献和回馈,致力于通过产业协作,打造统一的平台,降低集成成本,加快新技术导入,助力新一代网络运维系统升级。同时,本书也融入了作者及其团队在网络开源领域的深刻洞察和见解,书中分享了华为参与网络开源的实践经验,是电信网络转型的重要参考。
|
10月前
|
存储 弹性计算 缓存
2026阿里云 ECS 经济型 e 实例(ecs.e-c1m4.2xlarge)性能测评:8 核 32G 配置解析
阿里云 ECS 经济型 e 实例(ecs.e-c1m4.2xlarge)8 核 32G 配置,以 “低成本 + 大内存” 为核心优势,适合预算有限的个人开发者与小微企业,用于轻负载中型业务或临时任务。其核心局限在于 CPU 共享调度导致的性能波动,及存储 I/O 上限,无法满足高性能与高稳定性需求。用户选型时需明确业务负载特性,优先通过包年包月与折扣券控制成本,若业务增长后性能不足,可升级至同系列更高配置或切换至独享型实例,确保服务持续稳定运行。
|
消息中间件 人工智能 运维
事件驱动重塑 AI 数据链路:阿里云 EventBridge 发布 AI ETL 新范式
“一个简单的数据集成任务,开始时总是轻松愉快的,但随着业务扩展,数据源越来越多,格式越来越乱,整个数据链路就会变得一团糟。”陈涛在演讲中指出了当前 AI 数据处理的普遍困境。扩展难、运维难、稳定性差,这三大挑战已成为制约 AI 应用创新和落地的关键瓶颈。针对这些痛点,在2025云栖大会期间,阿里云重磅发布了事件驱动 AI ETL 新范式,其核心产品 EventBridge 通过深度集成 AI 能力,为开发者提供了一套革命性的解决方案,旨在彻底改变 AI 时代的数据准备与处理方式。
1232 78
|
7月前
|
存储 缓存 监控
【架构设计】高性能架构设计:QPS/TPS/RT核心指标、性能优化方法论、水平/垂直扩展、缓存、异步、池化
本文系统构建高性能架构知识体系:以QPS/TPS/RT为核心标尺,遵循“空间换时间、分而治之、无状态化”等七大原则;涵盖垂直/水平扩展骨架、缓存/异步/池化三大引擎,并通过全链路监控、压测、限流熔断等保障闭环。
|
8月前
|
SQL 监控 关系型数据库
MySQL数据如何实时同步到StarRocks?NineData实操指南
本文详解MySQL→StarRocks实时同步的落地实践,涵盖MySQL参数与权限校验、StarRocks表模型选型(Duplicate/Unique/Primary Key)、NineData全量+增量任务配置、数据一致性校验、延迟监控及告警,并提供DDL变更、数据不一致等常见问题的排查与修复方案。
|
10月前
|
SQL 存储 运维
企业落地 ChatBI,如何构建可信可靠的数据底座?
传统宽表架构在数据口径一致性、维护成本和灵活性上已难以支撑企业级 ChatBI 的规模化应用,而基于 NoETL 明细语义层的方案正成为新一代数据底座的主流选择。
|
监控 应用服务中间件 Linux
轻松解决日志文件积压问题:掌握logrotate的技巧
轻松解决日志文件积压问题:掌握logrotate的技巧
1641 1