互动虚拟演播厅
打造沉浸其境的直播体验
——斯路
由阿里云视频云团队打造的云端互动虚拟演播厅，为远程制作、异地互动、虚拟实时拍摄等场景打造出了富有沉浸感的演播体验，达到了专业的广电级别直播效果，并在各类顶级赛事以及活动直播中被广泛应用。
互动虚拟演播厅通过云端多路实时实景抠像、虚拟背景生成与实时动态渲染技术，有效解决了受访嘉宾与直播对象不在同一空间或受限于现场环境而无法进行专业演播的痛点，可将身处不同之处的人合成到任意演播厅，即使相隔千里，也能透过虚拟演播技术，体验沉浸于同一空间的互动感。
去年的东京奥运会首次运用了这套方案，在北京与东京的奥运现场进行跨国连线，通过虚拟演播厅将实时连线的两地直播流进行实时抠像合成，并加上中英文实时字幕，通过远程制作的方式，便捷地完成了多场跨国采访和云签约仪式。
如何快速打造跨境互动演播？
以东京奥运会为例，主持人在东京奥运会现场。
嘉宾在北京演播厅。
通过虚拟演播厅将实时连线的两地直播流抠像合成，云上导播抠像合流。
两步简单配置，自定义布局，并加上双语实时字幕。
即可快速打造一场互动直播。
目前演播厅使用的抠图技术大多与绿幕抠图相关，但绿幕抠图存在几个弊端。首先，需要专门搭建绿幕演播室或绿幕设备，应用场景比较受限。另外，为了保证绿幕抠图的效果达到专业要求，必须对灯光设备进行调试，且需要有经验的拍摄者或操作者进行提前布景。
基于绿幕的种种弊端，视频云技术团队对虚拟演播厅的技术方案进行了全面升级，打磨出了新实景抠像算法和引擎能力：第一次采用了实景预设背景抠像方案，第一次采用了多机位切换实时抠像方案，第一次采用了 4 路抠像源的同时抠像合成处理方案，对标广电级别节目规格。
视频云技术团队还尝试了多种算法以及工程模型，一次次打破技术壁垒，提升实景抠像的效果以及长时间直播的稳定性，将实景抠像的效果提升到行业天花板的水平。在采访环境不可控的杂乱背景下，技术均可将其处理得非常完美。
此外，我们首次打通了音视频通信及 RTC 和 JRTN 网络，将多机位、多视角同步直播的技术能力与 RPC 实时连麦异地开播的能力相结合，为用户提供了简单稳定的连线功能，真正实现了互动虚拟演播的能力。
在前段时间刚刚结束的顶级赛事项目中，互动虚拟演播厅再次被国内顶尖广电传媒机构运用在了运动员的采访中，在赛区内外以及电视台内外进行了多场沉浸式的赛事报道。
而这一次运用也革新了传统电视台记者的采访形式，记者无需携带摄像团队带着沉重的设备到处奔波，无需与受访者身处同一环境，仅需要两部手机加一台电脑，即可随时展开直播与转播，同时也能让观众在第一时间体验到更具沉浸感的播报。
随着疫情的发展，越来越多直播活动从线下转为线上，这也使得大家对于互动虚拟演播厅的诉求越来越多。因此，视频云技术团队重点对互动虚拟播厅的关键技术能力进行了深度升级。
① 重点对实景抠像打造了新的算法引擎和极致的效果，解决了实景抠像边缘粗糙、抖动等问题，抠像效果精细到人物发丝。真实细腻的效果也促进了产品的可应用性，打破了行业实景抠像的壁垒。
② 丰富了业务侧的接入能力，实现了实时互动加导播的完整方案，打造出了实时互动场景，通过手机 App 即可简单便捷地开播，使用门槛低，非专业互联网人士也可以轻易上手。
③ 全面升级了云导播稳定性，超长时间连麦的稳定性、抠像的稳定性以及音视频互动 App 的性能，全方位满足异地、多人、多场景、超长时间的连麦和直播需求。对于复杂的多场景，比如单人切换双人、远景切换近景、直播中插入垫片广告等，实现了无形无缝切换，真正达到了广电级别的节目制作水准。
这一次全面技术升级，亦是将之前的虚拟演播厅升级为具有实时互动沉浸效果体验的互动虚拟演播厅产品方案，为各类业务和行业带来了直播报道的全新体验。
从实际的应用场景上来看，互动虚拟演播厅不仅高度契合体育竞技、国内外赛事类的现场转播、远程直播、多主持人解说模式等场景，还可以应用于行业转播，比如电商和活动的直播支持\会议的多模式转播以及各种类型的异地连线与虚拟采访，应用场景非常广泛，能力颇为丰富。
为了实现面向涉及直播场景的各行业提供远程开播、虚拟直播间解决方案的目标，在达到了广电级转播效果的同时，我们也对云导播进行了全面的服务升级和易用性改造，极大降低了接入门槛。通过实现轻量化服务的技术方案，大大拓展了该技术的应用场景。接入方式上，不仅支持从 RTC 的服务自动获取直播间在线流，还支持手机、相机、摄像机等多种设备的推流、录制视频或直接输入直播 URL 等方式，并通过自动智能抠像与背景的合成渲染输出直播流。
在直播过程中还可以结合直播内容，实时切换场景、切换脚本、插入广告或 VCR 小片、添加图文包装效果，并进行监听、监播和调音、混音等操作。
互动虚拟演播厅也提供了多种产品使用方案。
在阿里云登陆直播控制台，既可开箱即用，进行可视化配置和开播，可以实时制作、播出、监看、调整直播内容。本地与线上一键同步，无需开发接入，适合各种运营和业务团队的使用。
还可以基于完善的 API 服务，按需调用封装自己的直播业务系统。云导播提供了带有控制台前端页面的完整 Web SDK ，可以直接嵌套集成，节省开发成本，帮助提供整套直播解决方案。
云导播控制台目前支持最多 12 路输入源、6 路同时抠像合成，支持自定义背景图，支持对于抠像对象的位置和大小直接进行拖拽设置，支持只保留音频的监听模式，支持布局图层顺序调整，只需通过简单的两三步配置即可快速开播；图文包装支持素材样式、位置以及投放逻辑的实时编辑和设定；实时字幕结合了达摩院的 ASR 语音转文本和实时翻译的能力，支持多语种双向实时互译，同时结合字幕包装的效果，可以很轻松地完美呈现一场精彩的直播。
相信未来的互动虚拟演播技术会更前瞻，门槛会更低减，场景会更丰富，互动会更多元，效果会更沉浸。阿里云视频云团队将坚持用技术的力量让直播更沉浸其境，让行业更普惠。
