云场景实践研究第79期:熊猫直播

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
更多云场景实践研究案例,点击这里: 【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
未来,熊猫直播会将依托阿里云,继续深耕大视频数据业务,满足大视频时代不断演进的大数据需求。
——卢圣刚
熊猫直播大数据技术专家
为了满足大视频时代的大数据需求,熊猫直播经历了从Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架构演进历程。

采用的阿里云产品
阿里云云服务器 ECS
阿里云 E-MapReduce
阿里云钉钉企业版

为什么使用阿里云
阿里云EMR服务具备灵活、快速、存储成本低的优势。
阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

关于熊猫直播
熊猫直播是由上海熊猫互娱文化有限公司创办的一家弹幕式视频直播网站。注册资本为2000万元,法定代表人为龙飞。2016年11月,熊猫直播荣登2016中国泛娱乐指数盛典“中国文娱创新企业榜 TOP30”。

熊猫直播的痛点所在
在身处大视频时代的当下,熊猫直播面对分散在MySQL、Redis、MongoDB之中的数据源头,需要实现统一的数据存储;面对不同的业务场景和高速的业务发展,需要实现灵活的横向扩展——不仅能灵活添加开源组建,还需要能快速增加计算节点。
作为高速发展的直播平台,熊猫直播数据纬度多、数据量巨大——累计已经达到PB级,仅仅每天新增的就有几十T。就离线计算的数据量看,每天几百个日常计算任务,以及大量的临时查询需求。

为什么选择阿里云?
阿里云EMR服务灵活、快速、存储成本低
阿里云EMR——Elastic MapReduce(E-MapReduce),是基于 阿里云ECS之上半托管开源大数据软件栈。EMR的弹性动态伸缩,能够帮助熊猫直播直线快捷的扩容、缩容EMR Hadoop集群,灵活、快速部署开源大数据服务(HBase、Kafka、Impala,Flink等),还具备数据存储成本低的优势。

阿里云服务能减少运维工作
运维机制对于选择EMR具有关键作用。阿里云企业服务对熊猫直播给予7*24小时 钉钉群支持,快速解决集群使用问题。阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

迁移上阿里云后的成效
熊猫直播借助阿里云服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。

关于熊猫直播的更多实践详情: 熊猫直播:大视频数据业务的云上历程
原文发布日期:2017-12-21
云栖社区场景研究小组成员:董普庆,仲浩。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
人工智能 开发者
"使用PAI实现涂鸦变大作"AIGC活动重磅来袭!
使用PAI-DSW搭建Stable Diffusion XL Turbo完成AI画画功能,轻松实现随手涂鸦变精美画作,人人都可当AI画家!诚邀AIGCer参与挑战,沉浸式体验云上绘画AIGC创新之旅。制作上传专属美画,即有机会抽取Powerbeats Pro、台式升降桌等七重奖品!
|
4月前
|
人工智能 小程序 算法
探索AI动画与小程序的应用创新-产品面对面系列直播第四期
探索AI动画与小程序的应用创新-产品面对面系列直播第四期
103 6
|
人工智能 编解码 云计算
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-视频云的「百年奥运 云上故事」(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-视频云的「百年奥运 云上故事」
158 0
|
编解码 人工智能 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力-如临现场的视觉感染力,NBA决赛还能这样看?
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力
186 0
|
人工智能 边缘计算 供应链
阿里云刘珅孜:云游戏带来的启发——端上创新
围绕移动端来打造创新场景,重视轻量化趋势。
阿里云刘珅孜:云游戏带来的启发——端上创新
|
人工智能 Cloud Native 物联网
不可错过!2020最热的100场技术直播来了
2020年最热门的100场技术直播我们都替你找出来了!
不可错过!2020最热的100场技术直播来了
|
Cloud Native 架构师 双11
【1109 - 1113直播导视 | PPT 下载】开源日再度来袭:实时计算技术的最新探索成果和实践、今年双11究竟有啥黑科技?
本周4个专题页重磅推荐,直播&前沿技术知识两不误,分别是双十一技术回顾&亚洲最大的开源关系型数据库生态大会PostgresConf.CN&数据库&开源日,块办好小板凳前来观看吧!
2782 0
|
机器学习/深度学习 人工智能 NoSQL
【云周刊】第156期:首帧秒开+智能鉴黄+直播答题,阿里云直播系统背后技术大起底
首帧秒开+智能鉴黄+直播答题,阿里云直播系统背后技术大起底,过年别再逼婚了,《黑镜》里的AI相亲系统是对爱情最好的匹配,六年打怪升级,一路披荆斩棘,只为没有难用的Node.js,新年大招,你的装备升级了吗?iPad mini 4等你来拿!...更多精彩内容,尽在云周刊!
7654 0
|
分布式计算 Kubernetes 安全
【0810 - 0814直播导视 | PPT 下载】阿里云智能秋招空中宣讲会持续进行中!快来看直播领内推码吧!
本周多场技术讲座等你来pick!并且还有阿里云智能秋招空中宣讲会之研发&算法专场,还等什么,快上车!
1231 0