揭秘熊猫TV HEVC直播

简介: 尽管HEVC(H.265)在2013年就完成了定稿,但直到去年苹果才宣布在iOS 11上支持HEVC。


尽管HEVC(H.265)在2013年就完成了定稿,但直到去年苹果才宣布在iOS 11上支持HEVC。在封闭的苹果生态下,新的Codec应用还用了4年时间,何况其他开放的生态系统呢。2018年初,熊猫TV宣布开始支持HEVC直播间,虽然这次升级主要帮助运营方节省带宽成本(20%以上),但未来将会在移动端投屏下切换至更高的码率,提升用户端观看体验。作为本土主流的游戏直播平台,熊猫TV在新技术创新方面走在了同行前列,也给行业提供了实践参考。LiveVideoStack邀请熊猫TV CTO黄欢和金山云算法总监朱政解读了熊猫TV HEVC的实现,他们还对Codec的未来给出了自己的思考。


策划 / LiveVideoStack


LiveVideoStack:熊猫直播HEVC直播间面向哪些用户,或哪些软件和硬件平台条件的用户开放?


黄欢:由于手机型号的多样性,在上线前的测试阶段,我们进行了大量的兼容性、稳定性、性能、功耗、温度测试,在不同的软件系统环境和硬件配置情况下,尽量降低用户对耗电量和长时间观看设备发热的感知,最终选定iOS 10及以上系统版本和iPhone 8机型,Android 7.0及以上系统版本作为第一批开放设备。


LiveVideoStack:熊猫直播的用户通过什么方式观看HEVC视频?不具备HEVC解码能力的用户,自动切换到H.264流?


黄欢:目前熊猫直播的移动端均支持观看HEVC房间,熊猫直播平台会根据用户的设备情况、网络状态、用户的个性化选择,自动为用户选择合适的线路、分辨率、码率、视频编码方式,用户不会感觉到HEVC房间和其他房间的差异,一切都已经为用户自动配置好了。


LiveVideoStack:主播端实现HEVC推流,需要哪些条件?


黄欢:首先需要主播使用的硬件能够支撑HEVC编码。如果要使用硬件编码,需要芯片支持,比如iOS A10 Fusion chip。如果是使用软件编码,需要CPU具有较强的计算能力。其次,需要CDN支持HEVC转码,包括HEVC不同码率、分辨率的转换,HEVC和其他编码方式的转换。最后,需要主播端把相关功能配合起来,比如连麦、美颜、贴片。目前熊猫自研的主播端已经实现了HEVC推流。


LiveVideoStack:HEVC的房间、用户、播放时长等占总量比例是多少?


黄欢:随着用户硬解设备的升级更新,CDN厂商转码服务器扩容,HEVC房间数量在逐步增加,比例会越来越大。


LiveVideoStack:观看HEVC直播的用户主要来自移动端还是PC端?Android和iOS用户哪个多?


黄欢:观看HEVC直播的用户主要来自移动端,Android用户多一些。


LiveVideoStack:预计2018年HEVC在熊猫直播的“比例”达到多少?


黄欢:这要看用户使用的硬件设备情况,我们估计移动端占比会超过50%,其他平台的数据还不好预计。


LiveVideoStack:制约HEVC普及的因素还有哪些?如用户设备不具备硬解能力,CDN支持能力,HEVC专利费?


黄欢:HEVC正走在普及的路上,技术方案、软件和硬件的支撑能力、CDN的支持能力都已经具备。随着用户手中硬件设备的更新,会有越来越多的用户观看到HEVC视频。HEVC专利费主要是对硬件设备商收取费用,是IT巨头们需要面对的问题。H.264也有专利费,只要费用被控制在合理的范围,就不会是技术普及的障碍。


LiveVideoStack:预计HEVC和H.264在未来多长时间内,仍然在熊猫TV共存,这意味着一路直播需要提供HEVC和H.264两路流,增加存储成本。您如何看待这一局面,如何解决一困境?


黄欢:H.264方案一样有存储成本和转码成本,同等画质下HEVC码率更低,占用存储空间更少。HEVC直播间的带宽成本会下降。


LiveVideoStack:评估过VP9方案吗?


黄欢:我们应该是评估过了业内所有的视频编码方案,包括VP9。VP9看起来很好,但是IT业内基本上只有Youtube在用。我们直播认为VP9没有被业内广泛支持的一个原因是到2017年为止,VP9的规范还没有定稿(final),还是草案状态(draft)。结合熊猫直播的情况,这里不说VP9的优点,只说在直播行业内使用VP9会遇到的问题。在主播端,VP9编码速度很慢,比HEVC还慢,因为几乎没有硬件厂商支持VP9硬编码。在观看端,Apple公司明确支持HEVC,不支持VP9。


LiveVideoStack:Google和他主导的AOM联盟正在大力推进AV1,预计近期会完成定稿,一些硬件参与到标准制定中,AV1开源、免专利费。同时FVC也将在2020年左右完成定稿,熊猫是否在评估AV1和FVC?


黄欢:Google力推的VP8和VP9都没有达到预期效果,Google这次拉来了Apple公司和硬件巨头加入,AOMedia Video 1看起来靠谱很多。我们一直在关注AV1。FVC定稿时间太遥远了,从定稿到业内上下游进行支持还需要一段时间,目前我们不做评估。


LiveVideoStack:对比H.264方案,采用HEVC方案后,是否评估过两者成本,或同样成本下用户观看画质清晰度、流畅度等主观评分?


黄欢:CDN成本主要有两个方面。第一个是带宽成本,根据我们的盲测,相同分辨率和画质下,HEVC的码率是H.264的70%左右,至少可以节约20%的带宽。第二个是转码成本,因为要支持用户可以选择多个码率和分辨率,H.264方案和HEVC方案一样,都需要转码。


LiveVideoStack:熊猫直播是否在考虑支持HDR?


黄欢:HEVC标准对High Dynamic Range (HDR)支持很好,但是观赏HDR内容需要显示设备支持,据我们了解现在只有少数几款国外品牌旗舰手机支持显示HDR内容,例如苹果公司的设备里面只有iphone X是完全的HDR显示屏,iphone 8和iphone 8 plus只能显示部分HDR增强效果。预计要等到国产旗舰手机支持显示HDR内容时,我们才会考虑支持HDR。


LiveVideoStack:推出金山KSC265方案后,团队主要的研发重点是什么?2018年会哪些目标?


朱政:编码团队的研发重点会围绕几个方面。


  1. 慢速档压缩性能的提高。KSC265在快速档具有速度和压缩性能双重优势,而且压缩性能优势非常明显。但是慢速档要获取压缩性能的优势难度比较大,因为标准的能力本身有限制。我们希望通过精耕细作可以在PSNR/SSIM计算的bdrate上比当前gain 10%以上

  2. 感知编码。Netfilx基于VMAF的per-title encoding,阿里的窄带高清,或者腾讯的主观优化,我们都归于perceptual encoding范畴。之前因为完全自研底层编码器,我们更关注通用的性能和复杂度指标。接下去我们在感知编码的各个方面和环节都会发力。

  3.  针对特定场景的调优,包括重点客户的典型场景。

  4. Deep Learning + Encoding


LiveVideoStack:熊猫TV主要内容为游戏直播,会不会对其进行(持续的)针对性的优化?


朱政:当然会。熊猫是重点客户,游戏直播也是典型场景。


LiveVideoStack:开源、免专利费,有Google带领,苹果加盟,AV1获得了众多巨头普遍响应。金山是否在考察AV1,如何看待AV1的未来?


朱政:金山在考察AV1,但因为其目前速度太慢,还没有办法做深入分析和实验。我们虽然在HEVC上耕作了很多年,但绝对拥抱新技术和新标准。


AV1目前的疑问是在公平条件下与HEVC相比较,由标准本身带来的压缩性能提升到底有多少。如果有20%以上,我们觉得其未来大有可为:


  1. 免专利费;

  2. 安卓+iOS+浏览器+硬件+YouTube/Netflix内容的生态,而浏览器这一环是HEVC缺失的; c. 比MPEG方面的下一代标准(FVC)早了好几年。


从历史经验看,Google力推的标准流行程度不一定差于MPEG系列,比如WebP就流行了,然而JPEG2000就死掉了。当然视频格式的推广要比图片格式更难。未来仍有不确定性,我们拭目以待。


LiveVideoStack 2018年春季招聘


LiveVideoStack是专注在音视频、多媒体开发的技术社区,通过传播最新技术探索与应用实践,帮助技术人员成长,解决企业应用场景中的技术难题。如果你有意为音视频、多媒体开发领域发展做出贡献,欢迎成为LiveVideoStack的一员。我们正在招募商务助理,高级编辑,策划编辑,课程经理。


通过job@livevideostack.com联系,或在LiveVideoStack公众号回复『商务助理』,『高级编辑』,『策划编辑』,『课程经理』了解详情。

相关文章
|
机器学习/深度学习 计算机视觉
用实验数据验证面试题:VGG使用3x3卷积核的优势
用实验数据验证面试题:VGG使用3x3卷积核的优势
619 0
用实验数据验证面试题:VGG使用3x3卷积核的优势
|
监控 关系型数据库 MySQL
zabbix部署以及配置
zabbix部署以及配置
560 3
|
机器学习/深度学习 算法 搜索推荐
JCR一区7分线粒体基因,纯生信非肿瘤分型诊断模型
**摘要:** 一项研究在《翻译医学杂志》(IF 7.4)上发表,揭示了线粒体分子特性如何影响风湿性关节炎(RA)的治疗。通过对线粒体基因的分析,研究人员识别出RA患者的三个亚型,每个亚型具有独特的分子和细胞特征。亚型关联分析显示,亚型C对特定生物制剂如英夫利昔单抗、抗TNF药物、利妥昔单抗和甲氨蝶呤/阿巴西普的响应更强。利用机器学习建立了基于线粒体基因的诊断模型,该模型在区分RA亚型上表现优异,为患者分层和个性化治疗提供了新策略。
372 0
|
网络协议 C# C++
BytesIO | 零基础轻松看懂 C# TCP客户端(完整源码+视频教程)
零基础轻松看懂 C# TCP客户端(完整源码+视频教程) 如果非IT行业的女朋友都能学会的话,应该就算0基础入门的教学视频了吧! 超简单的C# TCP开发入门,短短的代码,完整的功能,掏出你的VS码一个试试手吧!
307 0
BytesIO | 零基础轻松看懂 C# TCP客户端(完整源码+视频教程)
|
数据可视化 算法
时序分解 | MATLAB实现基于SVD奇异值分解的信号分解分量可视化
时序分解 | MATLAB实现基于SVD奇异值分解的信号分解分量可视化
|
SQL Java 数据库连接
MyBatis执行SQL语句的两种方式
MyBatis执行SQL语句的两种方式
325 0
|
编解码 计算机视觉 网络架构
CVPR2021 | 重新思考BiSeNet让语义分割模型速度起飞(文末获取论文)(一)
CVPR2021 | 重新思考BiSeNet让语义分割模型速度起飞(文末获取论文)(一)
529 0
|
弹性计算 负载均衡 小程序
阿里云服务器免费申请3个月试用攻略
阿里云服务器免费申请3个月试用攻略,阿里云服务器免费试用申请链接入口,阿里云个人用户和企业用户均可申请免费试用,最高可以免费使用3个月,阿里云服务器网分享阿里云服务器免费试用申请入口链接及云服务器配置
4471 0
|
机器学习/深度学习 人工智能 达摩院
EMNLP 2022论文解读 | SOND:基于显式语音重叠建模的说话人日志模型
Empirical Methods in Natural Language Processing (EMNLP)是由国际计算语言学协会(Association for Computational Linguistics, ACL)举办的自然语言处理和人工智能方面的重量级国际会议,历届会议都会受到全球各地人工智能领域人士的广泛关注。 近期,阿里巴巴达摩院语音实验室的论文“Speaker Overlap-aware Neural Diarization for Multi-party Meeting Analysis”被EMNLP 2022 主会长文接收。该论文展现了达摩院语音实验室在多方会议分
669 0
|
应用服务中间件 nginx
Nginx - autoindex
Nginx - autoindex
554 0
Nginx - autoindex