熊猫直播:大视频数据业务的云上历程-阿里云开发者社区

开发者社区> 阿里云支持与服务> 正文

熊猫直播:大视频数据业务的云上历程

简介:
+关注继续查看

在海量数据的大视频行业,如何满足大数据需求?12月20日举办的北京云栖大会“企业云上业务优化”分论坛上,熊猫直播大数据技术专家卢圣刚,分享了熊猫直播不断优化云上资源,建立起灵活配置、高扩展性、易于运维的云上架构的宝贵经验。

作为知名泛娱乐直播平台,熊猫直播涵盖游戏、娱乐、综艺、户外、体育等多种泛娱乐直播内容。在身处大视频时代的当下,熊猫直播代表了众多大视频企业的大数据需求:面对分散在MySQL、Redis、MongoDB之中的数据源头,需要实现统一的数据存储;面对不同的业务场景和高速的业务发展,需要实现灵活的横向扩展——不仅能灵活添加开源组建,还需要能快速增加计算节点。

作为高速发展的直播平台,熊猫直播数据纬度多、数据量巨大——累计已经达到PB级,仅仅每天新增的就有几十T。就离线计算的数据量看,每天几百个日常计算任务,以及大量的临时查询需求。

为了满足这样的大数据需求,卢圣刚分享了熊猫直播从Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架构演进历程。

1

阿里云EMR——Elastic MapReduce(E-MapReduce),是基于阿里云ECS之上半托管开源大数据软件栈。

卢圣刚分享了选择EMR的原因:“EMR的弹性动态伸缩,能够帮助熊猫直播直线快捷的扩容、缩容EMR Hadoop集群,灵活、快速部署开源大数据服务(HBase、Kafka、Impala,Flink等),还具备数据存储成本低的优势。”

卢圣刚还特别了强调运维机制对于选择EMR的关键作用。阿里云企业服务对熊猫直播给予7*24小时钉钉群支持,快速解决集群使用问题。阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

未来,熊猫直播会将依托阿里云,继续深耕大视频数据业务,满足大视频时代不断演进的大数据需求。

了解更多请微博关注阿里云客户满意中心
__8

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【云栖号案例 | 教育与科研机构】读书郎上云 确保课程视频与回放的毫秒响应
疫情期间读书郎面临如何保障包括偏远地区在内的学生的流畅访问的问题。上云后提供广覆盖、高可用、分层式的加速网络,在线视频访问的效率显著提升。
2315 0
手机淘宝短视频业务「哇哦视频」迁移上 FaaS 笔记公开
在看了那么多“技术原理/顶层设计/平台建设”相关的文章之后,我相信你对 FaaS 肯定产生过跃跃欲试的感觉,但也肯定存在诸多疑惑。关于这些疑惑,经过了这四个月的考验,我想我已经有了自己的答案。接下来我将会向大家分享我这四个月的历程,带大家一起看看,在一名一线业务同学的眼中,FaaS 究竟会给前端同学带来什么?
340 0
视频监控业务上云方案解析
阿里云针对安防监控服务在传统IT架构下面临的上述问题,基于阿里云存储服务,提供视频监控解决方案。从2015年推出视频监控存储与播放解决方案以来,帮助大量的视频监控企业解决了上云的过程中遇到的问题,针对不同的视频监控厂商,也推出了不同的解决方案
9867 0
+关注
阿里云支持与服务
分享阿里云支持与服务团队最佳实践、经典案例与故障排查。
197
文章
4856
问答
来源圈子
更多
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载