这就是多媒体开发 视频竟然比连续图片更省带宽

简介: 多媒体开发技术不仅技术栈庞大,许多技术需要深度钻研,学习起来并不容易。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1


多媒体开发技术不仅技术栈庞大,许多技术需要深度钻研,学习起来并不容易。当如果方法得当找到了乐趣,情况就不同了。LiveVideoStack邮件采访了战旗直播流媒体研发工程师石硕,他不仅发现了有多媒体开发的乐趣,还是有一套自己的学习方法。在5月19日举行的WebRTCon 2018-娱乐多媒体开发应用实践专场上,石硕将聊聊战旗直播体验与成本优化的探索,涉及P2P、H.265、防盗链等技术的应用。


策划 / LiveVideoStack


LiveVideoStack:石硕你好,能否简要介绍下自己,包括目前的主要工作及关注领域?


石硕:我曾就职于奥点云、海笙乐,目前就职于战旗直播,主要负责直播基础模块搭建,以及直播相关的优化工作;专注于流媒体、多媒体领域的技术研究;重写过一些常见的网络协议。


LiveVideoStack:进入音视频领域,是有意为之,还是机缘巧合呢?


石硕:算是机缘巧合吧。2011年入职奥点,这是我的第一份工作,同时也是进入直播行业的起点;工作的过程中,逐渐了解到直播技术的有趣,一个640x480的小画面竟然可以让那么多人为之疯狂,直播的视频流竟然比连续的图片更节省带宽。


LiveVideoStack:你翻译了《RTMP协议规范1.0》,翻译过程和之后有哪些有趣的经历?


石硕:翻译RTMP协议是2013年的事,当时有部分用户反馈弱网下直播不流畅的问题,为了改善这个问题,我们想到使用RTMP+UDP传输的方式来优化网络拥塞和带宽不足的问题;想要动手修改这部分内容,同时又考虑到兼容性,就参考并翻译了RTMP协议的封包部分,通过扩展包类型的方式解决了问题;后来又陆续翻译了剩余的其他章节。


LiveVideoStack:在战旗直播,有没有做一些有趣的技术探索,能否聊聊?


石硕:个人觉得比较有意思的有以下两点。


  1. 喷泉码,使用很少量的冗余数据来完成丢包恢复,主要用来解决网络丢包导致的花屏问题;

  2. 数字水印,主要用来计算直播延时。


LiveVideoStack:音视频技术往往非常专业,这就导致需要钻研到足够的深度才能脱颖而出。但这会导致职业的选择空间变窄。如何在技术深度与广度上做好平衡呢?


石硕:这个问题很好,之前有一段时间,我也被这个问题困扰过,在思考的过程中,整理了一份流媒体知识体系框架图;框架图把技术和行业关联起来,每个行业对应的技术点,其实是有强弱之分的,有的技术要求高,就需要深挖,有的要求相对较低,简单了解即可;先把一个行业,或者细分行业做好,再扩展到相关行业领域,这样深度和广度都兼顾到了。有关流媒体知识体系框架图,可以在CSDN的知识库中找到。


LiveVideoStack:展望2018年,你认为哪些技术将成为音视频领域的热门?


石硕:WebRTC、H.265、AI


LiveVideoStack:AI、区块链等新技术对多媒体开发生态会产生怎样的影响?你看到哪些场景的应用?


石硕:对于直播行业来说,最为常见场景有几个,人脸识别以及增强现实、机器鉴黄、视频内容自动分类。



娱乐多媒体开发应用实践


随着海量多媒体应用的普及和爆发,用户体验、成本控制以及内容安全等方面也提出了更高的要求。如果你想了解泛娱乐行业的发展趋势与技术难点,5月19日,上海,欢迎来到《娱乐多媒体开发应用实践》专题,与网易云易盾CTO朱浩齐、咪咕视讯技术总监王琦、PP云资深架构师朱明亮、战旗直播流媒体研发工程师石硕面对面,他们将分别从海量与高带宽下的内容安全挑战,5G带来的基于与挑战,高清赛事直播的挑战,以及成本控制与用户体验保障等角度分享多媒体开发最新技术实践与应用案例。


640?wx_fmt=jpeg


点击【阅读原文】,了解“娱乐多媒体开发应用实践”专题相关信息,有机会免费参与哦!

相关文章
|
4月前
|
监控 Java 开发工具
### 绝招揭秘!Android平台GB28181设备接入端如何实现资源占用和性能消耗的极限瘦身?
【8月更文挑战第14天】本文介绍在Android平台优化GB28181标准下设备接入的性能方法,涵盖环境搭建、SDK集成与初始化。重点讲解内存管理技巧如软引用、按需加载资源,以及通过硬件加速解码视频数据和图像缩放来减轻CPU与GPU负担。同时采用线程池异步处理视频流,确保UI流畅性。这些策略有助于提高应用效率和用户体验。
51 0
|
传感器 机器学习/深度学习 算法
能抓取玻璃碎片、水下透明物,清华提出通用型透明物体抓取框架,成功率极高
能抓取玻璃碎片、水下透明物,清华提出通用型透明物体抓取框架,成功率极高
154 0
|
存储 C语言
把玩数据在内存中的存储
前言:时光如梭,今天到了C语言进阶啦,基础知识我们已经有了初步认识, 是时候该拔高拔高自己了。 目标:掌握浮点数在内存的存储,整形在内存的存储。 鸡汤:时光易过,岁月蹉跎。
121 0
|
存储 编解码 缓存
鹿班 PICASSO 实时渲染引擎的奥秘,如何支撑每秒千万图像访问?
读者受益: 1、鹿班PICASSO实时合图引擎因何而生 2、实时合图引擎如何支撑每秒千万图像访问 3、实时合图引擎应用场景介绍
1395 0
鹿班 PICASSO 实时渲染引擎的奥秘,如何支撑每秒千万图像访问?
|
机器学习/深度学习 算法 机器人
|
前端开发 算法 5G
带宽部分(BWP)|带你读《5G空口特性与关键技术》之十
天线端口可以看成是一个逻辑概念而非物理概念,每个天线端口代表一种特定的信道模型,采用相同天线端口的信号可以看作是采用完全相同的信道来进行传送的。由此可见,同一个天线端口上,承载一个符号的信道可以由承载另一个符号的信道来推断。
11319 2
带宽部分(BWP)|带你读《5G空口特性与关键技术》之十
|
Web App开发 编解码 UED
YouTube高效传输策略:节省14%带宽 用户体验提升
视频平台会侦测用户端的带宽来调整码率及分辨率,但通常只考虑到编码器的比特率率--质量关联,忽略了用户的可用带宽影响。
2040 0
|
Web App开发 索引
一张图看懂手机CPU性能——手机CPU性能天梯图
该图来自:http://www.mydrivers.com/zhuanti/tianti/01/index.html
1546 0