云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
几个月没去KTV跟朋友嗨歌,在座各位麦霸是否已技痒难耐?
那么,你是否有过这样一种大胆的想法——
借助现下用户量蹭蹭蹭往上涨的视频会议软件,远程K歌?
那么,问题来了,就视频会议软件那延时,当一场视频会议里有人跟你在同一个办公室坐着,那双重混响谁用谁知道,K起歌来体验未免有些差劲。
但在清华校庆之际,清华教师阿卡贝拉小唱组的老师们,还真献上了上面这一场“云上实时合唱献礼清华校庆”活动。
并非事先各自录制,而后剪辑实现。这6位老师是在各自家中,利用普通网络和普通手机,同一时刻一起远程合唱。
不得不说,论唱歌还是服清华,前有李健水木年华高晓松等知名“音乐”校友,现在还通过技术实现云合唱。
那么这项技术,究竟有啥过人之处?
超低延时音视频互动技术
前面提到,视频通话、视频直播中尚可接受的几百毫秒延迟,对于实时合唱来说却是致命的。
如果双方的人声、伴奏延时高于100ms,唱的拍子就会合不上。
因此,在此前被众多网友称作“有生之年系列”的One World:Together At Home网络音乐会上,受限于歌手们时差、现场收录条件、网络条件的差异,为了保证演出效果,大部分合唱表演其实是提前录制好的。
正如著名音乐电台DJ,SoundArio音乐基金会创始人加菲众所评价:“0.17秒的延迟足以低效全世界顶级音乐人的现场功力。”
而清华老师们这场精彩的阿卡贝拉,即无伴奏合唱,对演唱者之间的相互配合要求极高,单向延时超过50ms,或者声音断断续续、忽大忽小,就会造成歌者之间的互相干扰。那就不是美妙和声,而是灾难现场了。
所以,这场表演是如何实现的?
老师们借助的,是超低延时音视频互动技术,能使单向音视频延迟低于50ms。
而技术的提供方,正是从清华园走出来的技术团队——清流鼎点(PowerInfo)。
音视频互动涉及编码、传输、转发、解码等多个环节,各个环节又分为多个模块和层次。清流鼎点的iLive方案将其视作一个整体,进行全栈综合优化。
其中的重点,是在音视频的编码和传输环节。
iLive方案建立了从评估、预测到调整的延时、流畅及质量三要素模型,并针对不同场景,进行基于大数据的算法和策略优化。
涉及的技术细节包括:
- PTCP传输协议:基于UDP(用户数据报协议),在充分理解传输内容的基础上,实现的专门用于实时音视频的协议,具备优先级、jitter、RC、重传、FEC等多种控制手段。
- ARRC:支持基于传输信道状态对编码及播放策略的控制,依据海量数据的分析,并根据不同场景QoE模型,采用不用的控制策略。
- Multi-Path多径传输技术:在PTCP协议内部实现Multi-Path传输机制,支持主/从、并行等不同的传输策略,支持基于对不同信道状态实时监测的Packet粒度的动态选径策略。
也就是说,能够同时利用多个网络(比如WiFi和4G)传输数据,降低单个网络的传输不稳定性,从而降低卡顿率,提升音视频通讯体验。
目前,这一技术方案已实现在1%丢包率下,码率4Mbps音视频延迟最低达42ms,卡顿0.2次/分钟。
也就是说,普通家庭网络接入,只要丢包率不超过1%,就可以体验超低延时合唱啦。
并且,该技术已经在清流鼎点推出的直面app上应用。据官方介绍,可以满足线上教学、视频会议,乃至实时合唱、在线乐队排练等场景需求。
如此效果,也给未来的线上互动场景提供了更多可能性,比如在AR/VR游戏中的应用,在远程医疗领域的应用……
清流鼎点:生于清华,长于清华
最后,简单介绍一下清流鼎点。
清流鼎点的创始团队,全员毕业于清华计算机系。在视频编码及传输领域有近20年的持续积累,从事过国内首批电信级VOD、IPTV系统、广电级高质量视频编码器等开发工作。
其合作客户包括:央视、映客直播、Starmaker、dokidoki等等。
自2008年起,清流鼎点旗下公司累计为中国用户大规模地提供过3次奥运会网络直播、2次欧洲杯和1次世界杯的网络直播,以及4届央视春晚网络直播,在网络直播视频传输领域积累深厚。
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
原文发布时间:2020-05-14
本文作者:鱼羊
本文来自:“量子位公众号”,了解相关信息可以关注“公众号 QbitAI”