云场景实践研究第79期:熊猫直播

简介: 作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
更多云场景实践研究案例,点击这里: 【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
“ 未来,熊猫直播会将依托阿里云,继续深耕大视频数据业务,满足大视频时代不断演进的大数据需求。”
——卢圣刚
熊猫直播大数据技术专家
为了满足大视频时代的大数据需求,熊猫直播经历了从Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架构演进历程。

采用的阿里云产品
阿里云云服务器 ECS
阿里云 E-MapReduce
阿里云钉钉企业版

为什么使用阿里云
阿里云EMR服务具备灵活、快速、存储成本低的优势。
阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

关于熊猫直播
熊猫直播是由上海熊猫互娱文化有限公司创办的一家弹幕式视频直播网站。注册资本为2000万元,法定代表人为龙飞。2016年11月,熊猫直播荣登2016中国泛娱乐指数盛典“中国文娱创新企业榜 TOP30”。

熊猫直播的痛点所在
在身处大视频时代的当下,熊猫直播面对分散在MySQL、Redis、MongoDB之中的数据源头,需要实现统一的数据存储;面对不同的业务场景和高速的业务发展,需要实现灵活的横向扩展——不仅能灵活添加开源组建,还需要能快速增加计算节点。
作为高速发展的直播平台,熊猫直播数据纬度多、数据量巨大——累计已经达到PB级,仅仅每天新增的就有几十T。就离线计算的数据量看,每天几百个日常计算任务,以及大量的临时查询需求。

为什么选择阿里云?
阿里云EMR服务灵活、快速、存储成本低
阿里云EMR——Elastic MapReduce(E-MapReduce),是基于 阿里云ECS之上半托管开源大数据软件栈。EMR的弹性动态伸缩,能够帮助熊猫直播直线快捷的扩容、缩容EMR Hadoop集群,灵活、快速部署开源大数据服务(HBase、Kafka、Impala,Flink等),还具备数据存储成本低的优势。

阿里云服务能减少运维工作
运维机制对于选择EMR具有关键作用。阿里云企业服务对熊猫直播给予7*24小时 钉钉群支持,快速解决集群使用问题。阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

迁移上阿里云后的成效
熊猫直播借助阿里云服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。

关于熊猫直播的更多实践详情: 熊猫直播:大视频数据业务的云上历程
原文发布日期:2017-12-21
云栖社区场景研究小组成员:董普庆,仲浩。
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
运维 监控 Java
研发规范第十三讲:阿里 - 如何进行项目稳定性建设
研发规范第十三讲:阿里 - 如何进行项目稳定性建设
1342 1
|
缓存 前端开发 JavaScript
【第22期】 一文读懂前端调试利器whistle
【第22期】 一文读懂前端调试利器whistle
838 0
|
监控 数据可视化 中间件
平台化三部曲之三流程编排 - 平台化是舞台,流程编排就是导演一场戏
在上两篇ATA中,第一篇讨论了平台的扩展性(《从Eclipse平台看交易平台化》),强调微内核和扩展机制实现,第二篇讨论平台的模块化开发(《Google Guice平台模块化开发的果汁》),强调业务隔离,松耦合。这这第三篇ATA中,想分享下平台化中另一个重要方面,平台的服务流程编排 (*备注:本文.
19128 2
|
定位技术
阿里研究员玄难:如何做电商业务中台
2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献。会上阿里业务平台事业部&淘宝基础平台技术部负责人玄难阐释了淘宝经历13年的发展中,业务平台从零到有,同时又逐步演进为业务中台。
42139 0
|
3月前
|
人工智能 JSON NoSQL
蹲了一个偏冷门的 OpenSRE:让 LLM 别再"建议",直接吐工单
OpenSRE(Tracer-Cloud/opensre)是一个专注SRE事故调查的开源AI Agent框架,摒弃LLM模糊的“散文式建议”,强制输出带证据链、可执行字段的结构化工单(JSON),直连PagerDuty/Jira等系统。采用LangGraph编排、PostgreSQL+Redis,强调可观测性与生产可靠性,是AI从“副驾”迈向“工单生成器”的关键实践。(239字)
386 0
蹲了一个偏冷门的 OpenSRE:让 LLM 别再"建议",直接吐工单
|
Kubernetes 安全 API
深入 Kubernetes:从零到生产的工程实践与原理洞察
🌟蒋星熠Jaxonic带你深入Kubernetes核心:从控制回路到生产落地,详解部署、弹性、安全与可观测性。用代码绘制云原生星图,让每次发布如深空机动般精准可控。🚀
|
4月前
|
人工智能 IDE 安全
Claude Code、Codex、Cursor、OpenCode Harness架构与执行逻辑深度对比
在AI编程工具的技术体系中,Harness是决定工具能力边界、执行效率与安全可控性的核心引擎,它是模型与开发环境之间的中间层,负责上下文管理、代码执行、权限管控、结果验证与迭代闭环。Claude Code、Codex、Cursor、OpenCode四款主流工具,因产品定位与设计理念不同,其Harness在架构、执行流程、上下文能力、权限模型、扩展机制与适用场景上存在显著差异。本文从Harness的核心定义出发,系统拆解四款工具的Harness架构、执行逻辑、关键特性与实战表现,帮助开发者理解不同工具的底层差异,选择适配自身开发流的AI编程工具。
1193 0
|
10月前
|
人工智能 运维 测试技术
2025年高并发系统全链路压测平台对比与瓶颈定位最佳实践
文章聚焦2025年高并发系统全链路压测,介绍主流方案分SaaS化与私有化两类,对比两者优劣。阐述瓶颈定位靠分布式追踪等技术,分享电商、金融场景实践案例。还解答方案选择、核心差异、瓶颈定位关键及避免影响生产环境等问题,提供全链路压测全面指导。
|
缓存 NoSQL 安全

热门文章

最新文章