揭秘熊猫TV HEVC直播

简介: 尽管HEVC(H.265)在2013年就完成了定稿,但直到去年苹果才宣布在iOS 11上支持HEVC。


尽管HEVC(H.265)在2013年就完成了定稿,但直到去年苹果才宣布在iOS 11上支持HEVC。在封闭的苹果生态下,新的Codec应用还用了4年时间,何况其他开放的生态系统呢。2018年初,熊猫TV宣布开始支持HEVC直播间,虽然这次升级主要帮助运营方节省带宽成本(20%以上),但未来将会在移动端投屏下切换至更高的码率,提升用户端观看体验。作为本土主流的游戏直播平台,熊猫TV在新技术创新方面走在了同行前列,也给行业提供了实践参考。LiveVideoStack邀请熊猫TV CTO黄欢和金山云算法总监朱政解读了熊猫TV HEVC的实现,他们还对Codec的未来给出了自己的思考。


策划 / LiveVideoStack


LiveVideoStack:熊猫直播HEVC直播间面向哪些用户,或哪些软件和硬件平台条件的用户开放?


黄欢:由于手机型号的多样性,在上线前的测试阶段,我们进行了大量的兼容性、稳定性、性能、功耗、温度测试,在不同的软件系统环境和硬件配置情况下,尽量降低用户对耗电量和长时间观看设备发热的感知,最终选定iOS 10及以上系统版本和iPhone 8机型,Android 7.0及以上系统版本作为第一批开放设备。


LiveVideoStack:熊猫直播的用户通过什么方式观看HEVC视频?不具备HEVC解码能力的用户,自动切换到H.264流?


黄欢:目前熊猫直播的移动端均支持观看HEVC房间,熊猫直播平台会根据用户的设备情况、网络状态、用户的个性化选择,自动为用户选择合适的线路、分辨率、码率、视频编码方式,用户不会感觉到HEVC房间和其他房间的差异,一切都已经为用户自动配置好了。


LiveVideoStack:主播端实现HEVC推流,需要哪些条件?


黄欢:首先需要主播使用的硬件能够支撑HEVC编码。如果要使用硬件编码,需要芯片支持,比如iOS A10 Fusion chip。如果是使用软件编码,需要CPU具有较强的计算能力。其次,需要CDN支持HEVC转码,包括HEVC不同码率、分辨率的转换,HEVC和其他编码方式的转换。最后,需要主播端把相关功能配合起来,比如连麦、美颜、贴片。目前熊猫自研的主播端已经实现了HEVC推流。


LiveVideoStack:HEVC的房间、用户、播放时长等占总量比例是多少?


黄欢:随着用户硬解设备的升级更新,CDN厂商转码服务器扩容,HEVC房间数量在逐步增加,比例会越来越大。


LiveVideoStack:观看HEVC直播的用户主要来自移动端还是PC端?Android和iOS用户哪个多?


黄欢:观看HEVC直播的用户主要来自移动端,Android用户多一些。


LiveVideoStack:预计2018年HEVC在熊猫直播的“比例”达到多少?


黄欢:这要看用户使用的硬件设备情况,我们估计移动端占比会超过50%,其他平台的数据还不好预计。


LiveVideoStack:制约HEVC普及的因素还有哪些?如用户设备不具备硬解能力,CDN支持能力,HEVC专利费?


黄欢:HEVC正走在普及的路上,技术方案、软件和硬件的支撑能力、CDN的支持能力都已经具备。随着用户手中硬件设备的更新,会有越来越多的用户观看到HEVC视频。HEVC专利费主要是对硬件设备商收取费用,是IT巨头们需要面对的问题。H.264也有专利费,只要费用被控制在合理的范围,就不会是技术普及的障碍。


LiveVideoStack:预计HEVC和H.264在未来多长时间内,仍然在熊猫TV共存,这意味着一路直播需要提供HEVC和H.264两路流,增加存储成本。您如何看待这一局面,如何解决一困境?


黄欢:H.264方案一样有存储成本和转码成本,同等画质下HEVC码率更低,占用存储空间更少。HEVC直播间的带宽成本会下降。


LiveVideoStack:评估过VP9方案吗?


黄欢:我们应该是评估过了业内所有的视频编码方案,包括VP9。VP9看起来很好,但是IT业内基本上只有Youtube在用。我们直播认为VP9没有被业内广泛支持的一个原因是到2017年为止,VP9的规范还没有定稿(final),还是草案状态(draft)。结合熊猫直播的情况,这里不说VP9的优点,只说在直播行业内使用VP9会遇到的问题。在主播端,VP9编码速度很慢,比HEVC还慢,因为几乎没有硬件厂商支持VP9硬编码。在观看端,Apple公司明确支持HEVC,不支持VP9。


LiveVideoStack:Google和他主导的AOM联盟正在大力推进AV1,预计近期会完成定稿,一些硬件参与到标准制定中,AV1开源、免专利费。同时FVC也将在2020年左右完成定稿,熊猫是否在评估AV1和FVC?


黄欢:Google力推的VP8和VP9都没有达到预期效果,Google这次拉来了Apple公司和硬件巨头加入,AOMedia Video 1看起来靠谱很多。我们一直在关注AV1。FVC定稿时间太遥远了,从定稿到业内上下游进行支持还需要一段时间,目前我们不做评估。


LiveVideoStack:对比H.264方案,采用HEVC方案后,是否评估过两者成本,或同样成本下用户观看画质清晰度、流畅度等主观评分?


黄欢:CDN成本主要有两个方面。第一个是带宽成本,根据我们的盲测,相同分辨率和画质下,HEVC的码率是H.264的70%左右,至少可以节约20%的带宽。第二个是转码成本,因为要支持用户可以选择多个码率和分辨率,H.264方案和HEVC方案一样,都需要转码。


LiveVideoStack:熊猫直播是否在考虑支持HDR?


黄欢:HEVC标准对High Dynamic Range (HDR)支持很好,但是观赏HDR内容需要显示设备支持,据我们了解现在只有少数几款国外品牌旗舰手机支持显示HDR内容,例如苹果公司的设备里面只有iphone X是完全的HDR显示屏,iphone 8和iphone 8 plus只能显示部分HDR增强效果。预计要等到国产旗舰手机支持显示HDR内容时,我们才会考虑支持HDR。


LiveVideoStack:推出金山KSC265方案后,团队主要的研发重点是什么?2018年会哪些目标?


朱政:编码团队的研发重点会围绕几个方面。


  1. 慢速档压缩性能的提高。KSC265在快速档具有速度和压缩性能双重优势,而且压缩性能优势非常明显。但是慢速档要获取压缩性能的优势难度比较大,因为标准的能力本身有限制。我们希望通过精耕细作可以在PSNR/SSIM计算的bdrate上比当前gain 10%以上

  2. 感知编码。Netfilx基于VMAF的per-title encoding,阿里的窄带高清,或者腾讯的主观优化,我们都归于perceptual encoding范畴。之前因为完全自研底层编码器,我们更关注通用的性能和复杂度指标。接下去我们在感知编码的各个方面和环节都会发力。

  3.  针对特定场景的调优,包括重点客户的典型场景。

  4. Deep Learning + Encoding


LiveVideoStack:熊猫TV主要内容为游戏直播,会不会对其进行(持续的)针对性的优化?


朱政:当然会。熊猫是重点客户,游戏直播也是典型场景。


LiveVideoStack:开源、免专利费,有Google带领,苹果加盟,AV1获得了众多巨头普遍响应。金山是否在考察AV1,如何看待AV1的未来?


朱政:金山在考察AV1,但因为其目前速度太慢,还没有办法做深入分析和实验。我们虽然在HEVC上耕作了很多年,但绝对拥抱新技术和新标准。


AV1目前的疑问是在公平条件下与HEVC相比较,由标准本身带来的压缩性能提升到底有多少。如果有20%以上,我们觉得其未来大有可为:


  1. 免专利费;

  2. 安卓+iOS+浏览器+硬件+YouTube/Netflix内容的生态,而浏览器这一环是HEVC缺失的; c. 比MPEG方面的下一代标准(FVC)早了好几年。


从历史经验看,Google力推的标准流行程度不一定差于MPEG系列,比如WebP就流行了,然而JPEG2000就死掉了。当然视频格式的推广要比图片格式更难。未来仍有不确定性,我们拭目以待。


LiveVideoStack 2018年春季招聘


LiveVideoStack是专注在音视频、多媒体开发的技术社区,通过传播最新技术探索与应用实践,帮助技术人员成长,解决企业应用场景中的技术难题。如果你有意为音视频、多媒体开发领域发展做出贡献,欢迎成为LiveVideoStack的一员。我们正在招募商务助理,高级编辑,策划编辑,课程经理。


通过job@livevideostack.com联系,或在LiveVideoStack公众号回复『商务助理』,『高级编辑』,『策划编辑』,『课程经理』了解详情。

相关文章
|
3月前
|
XML 开发工具 Android开发
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
ExoPlayer最初是为了解决Android早期MediaPlayer控件对网络视频兼容性差的问题而推出的。现在,Android官方已将其升级并纳入Jetpack的Media3库,使其成为音视频操作的统一引擎。新版ExoPlayer支持多种协议,解决了设备和系统碎片化问题,可在整个Android生态中一致运行。通过修改`build.gradle`文件、布局文件及Activity代码,并添加必要的权限,即可集成并使用ExoPlayer进行网络视频播放。具体步骤包括引入依赖库、配置播放界面、编写播放逻辑以及添加互联网访问权限。
243 1
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
|
4月前
|
编解码 监控 网络协议
如何用魔法般的步骤实现RTSP推送H.264与H.265(HEVC),打造震撼视听盛宴,让每一帧都充满魔力!
【9月更文挑战第3天】实现RTSP流媒体服务推送H.264和H.265编码视频是现代视频监控及直播平台的关键技术。本文详细介绍环境搭建、编码配置及服务器与客户端实现方法。首先,通过FFmpeg捕获视频并编码成RTSP流,接着使用VLC等工具接收播放。此外,还提供了C++示例代码,演示如何利用libv4l2和FFmpeg自定义服务器端实现。希望本文能帮助读者成功搭建RTSP视频流系统。
719 1
|
4月前
|
编解码 Android开发
Apple不认Android的AMR?用暴风转码给它脱胎换骨吧
Apple不认Android的AMR?用暴风转码给它脱胎换骨吧
|
5月前
|
编解码 监控 网络协议
【绝密技巧】揭秘!如何用魔法般的步骤实现RTSP推送H.264与H.265(HEVC),打造震撼视听盛宴,让每一帧都充满魔力!
【8月更文挑战第15天】本文详述了如何使用RTSP流媒体服务推送H.264及H.265编码视频,适用于视频监控和直播平台。首先需确保环境支持这两种编码格式,可通过FFmpeg实现。在Ubuntu上安装FFmpeg后,可配置从摄像头捕获视频并推流至RTSP服务器。针对H.265编码,只需更改视频编码器为`libx265`。客户端可使用VLC播放器接收流。此外,还提供了C++示例代码用于自定义服务器实现,包括初始化上下文、打开编码器和循环编码视频帧。此教程旨在助力实现RTSP推送目标。
111 0
|
7月前
|
编解码 API 开发工具
程序与技术分享:AAC音频格式详解
程序与技术分享:AAC音频格式详解
|
编解码
荔枝派Zero(全志V3S)开启mplayer,播放音视频
mplayer 是一款开源的多媒体播放器,可以用来播放音视频, mplayer 自带多种格式的解码器,不需要我们再另外安装。本文介绍如何在 荔枝派上移植 mplayer 播放器,基于音频驱动实验。
322 0
|
Web App开发 移动开发 编解码
熊猫TV直播H5播放器架构探索
本文来自熊猫TV音视频技术专家姜雨晴在LiveVideoStackCon 2017上的分享,并有LiveVideoStack整理成文。
3904 0
|
机器学习/深度学习 编解码 人工智能
|
Web App开发 编解码 缓存
猿大师播放器在谷歌chrome播放多路海康威视RTSP视频流,修改过缓存后仍然卡顿怎么办?
在用猿大师播放器同时播放多路海康威视的RTSP视频流,2K和4K视频有卡顿情况,修改完缓存和网络配置后仍然卡顿怎么处理?
342 0
猿大师播放器在谷歌chrome播放多路海康威视RTSP视频流,修改过缓存后仍然卡顿怎么办?
|
负载均衡 Android开发 iOS开发
TV端影视APP开发搭建需要注意哪些问题?
影响TV端影视APP稳定性的因素有哪些?1、APP播放器问题 2、服务器和网络原因,在搭建影视APP开发之初就要考虑大并发服务器架构3、视频资源本身有问题。
321 0
 TV端影视APP开发搭建需要注意哪些问题?