国家扶持超高清产业背景下：视频云AIGC的超高清技术实践
内容介绍：
一、超高清产业发展：趋势和挑战
二、阿里视频云超高清应对方案
三、超高清应用实践案例
本次分享的主题是国家扶持超高清产业背景下：视频云AIGC的超高清技术实践，由阿里云智能集团视频云高级产品解决方案架构师陈震分享。
本次分享共包括三个部分：第一部分，超高清产业的发展趋势和挑战；第二部分，阿里云面对超高清产业发展的应对方案；第三部分，分享阿里视频云技术在超高清方面的实践案例。
一、超高清产业发展：趋势和挑战
1、发展趋势
（1）技术
在技术层面，我国于自主制订的超高清技术标准，如ABS+、ABS 3、vivid的标准已经逐步成熟并且被国际社会认可，这为超高清产业发展扫清了知识产权上的障碍。同时，在超显示终端还有音视频技术方面也见证了超高清设备变得更大、更薄、更多样、更便宜。
（2）政策
在政策层面，国家的一系列产业政策相继出台，为超高清产业的发展提供了强有力的支撑。从2019年产业规划发展中的4K先行兼顾8K，到2021年的百城千屏推广，再到2023年的4K/8K超高清用户行动，直至2024年的超高清设备更新提升政策投资建设九个省市，以及央视总台的超高清频道，国家在推动超高清产业发展上的决心和力度显而易见。
（3）进展
得益于国家的强力推动，我国超高清产业近年取得了显著成就。截止到2022年，我国已经开通了八个超高清频道，产业规模超30000亿元。在体育赛事领域，超高清技术为观众带来了更加沉浸式、身临其境的观看体验，也成为了超高清最重要的竞技场之一。2020年东京奥运会，央视和NHC都做了8K的直播；2022年冬奥会也做了8K直播；尤其是2024年的巴黎奥运会，首次提供了8K的超高清公共信号制作，央视更是用4K超高清加三维声的标准全程制作了奥运会的开闭幕式和重点赛事节目。
根据2023年的发展白皮书预测，可以看到产业规模仍处于持续增长的态势。从2018年的0.98万亿元起步，预计到2024年，该数字将突破50000亿元的大关。而在全球范围内，趋势同样显著。IDC2024年5月的报告也指出，从2024年到2028年，全球数据量将以每年24.4%的复合增长率增长，其中超高清视频占据到IP网络20.7%，且预计在未来几年内还会持续增加。
2、挑战
在数字的背后，其实是对超高清视频内容需求的不断增长。超高清标准的提升，不仅仅是分辨率的提升，从高清转到4K，信息量大幅增加。对比高清和4K HDR的技术参数可以看到，除了分辨率的提升之外，帧率的提升会让运动画面更加流畅。10bit色深和HDR技术让色彩更加真实丰富。然而，前所未有的感官体验也带来了新的挑战。节目制作的复杂度大幅增加，传输过程的延时问题也更突出，同时对处理效率的要求也会变高。要面对挑战，我们需要采用更先进的技术方案和更创新的方法去克服。
随着社会的进步和技术的发展，观众观看习惯发生了显著改变，触达超高清视频内容不再局限于传统的广播电视，而是变得更加多元化和无处不在，希望任何人都可以在任何时间、任何地点，用任何的设备享受到超高清视听觉盛宴，例如中央电视台的春节晚会、央视频的看奥运等节目，在今天已经可以通过手机端的应用投屏到电视上，观看超高清的内容。我们也习惯了在流媒体应用上面去观看篮球比赛。此外，更多的超高清内容会在电视投屏、街头大屏、平板、手机，甚至是VR、AR设备上展示。跨平台的观看体验也给我们带来了新的挑战。为了适应变化，我们需要利用互联网、云计算、AI等先进技术进一步优化内容生产、分发和呈现。互联网提供了更广阔的分发渠道，云计算则提供了强大的算力和存储能力，AI技术可以帮助更好地提升音视频质量，提升节目制作的效率。
二、阿里视频云超高清应对方案
为了解决实践中遇到的问题，视频云提供了全链路的超高清解决方案，全面支撑融合AI的超高清视频业务。
1、简要介绍
（1）云
采用云原生架构，借助云平台的灵活性和可扩展性支撑视频服务能力的全球化弹性部署。同时，大部分的音视频处理能力也可以部署到混合云上，把能力下沉到用户的数据中心，借助云平台的调度能力，可以高效、弹性地利用CPU、GPU等不同类型的处理器，为超高清视频提供强大的并发处理能力。
（2）网
依托阿里云全球3200多个网络节点，提供超高清视频的低成本流畅传输服务。
（3）算法平台
提供了融合AI的并发处理引擎和混合资源调度能力，支撑超高清算法高速并行的处理。
（4）视频服务
基于基础设施，构建了全链路的超高清融合平台，处理从云端的汇聚生产、片源修复、音视频增强、分发优化、端侧播放能力，为全链路的超高清视频生产、处理、传输、播放提供完整的解决方案。
2、片源修复
针对内容制作难度变大、内容短缺，要立竿见影的问题，首先考虑的是将丰富存量的历史片源，例如经典的老电影，提升到超高清的标准。但历史的片源会存在很多不可避免的问题，在做超高清上变换时，需要对它进行预处理。我们提供视频校色技术，修正历史内容上的色彩失真，使之更加真实和生动；通过人像增强技术，修正历史内容中人像的细节，使得人物的面部表情、肤色特征更加鲜明和自然；通过视频降噪技术，减少或者消除原视频中的噪点，提升图像的质量；通过字幕标志擦除技术，去除原始画面中有不合适、不美观的字幕，方便做后期处理。
3、音视频增强
要解决超高清内容短缺、制作难的问题，可以通过音视频增强去复用现有内容快速制作超高清的节目。以视频智能增强技术为例，它能将现有的高清的帧率从25帧提升到50帧，或从30帧提升到60帧。在提升视频帧率的过程中，可以通过精准的算法保持动作的连贯性和流畅性。
（1）规避插帧暗坑
在提升帧率的过程中，也会面临着常见的挑战，如镜头快速切换时局部细节容易破损，又如两帧字幕切换之间的插帧会使整个字幕模糊。我们针对插帧过程中常见的问题做了大量的优化，在细节的展示上有较大的改善。
（2）色彩效果提升
从现有的内容变换到超清，还涉及到色彩的增强。色彩增强通过软件算法提升了画面的对比度、色彩的饱和度和亮度，实现在非HDR的设备上也可显示出接近HDR的效果。
（3）声音增强
从现有的内容变换到超高清还涉及到声音增强。声音增强后可由传统的双声道效果转为立体声，支持立体耳机和立体声外放，声音的效果会变得更加宏大。处理后的声音还可以提供多种音频效果，如影院效果、音乐效果、大型音乐会等各种场景的模式。另外，也支持更高级的虚拟VR全景声的技术。通过自研的双耳实时渲染引擎，可以结合头部的跟踪模块，在转动头部时，可以保持声源的位置不变。
4、窄带高清技术
为满足超高清流畅播放的要求，还不断升级窄带高清算法，通过人眼视觉模型智能分配编码码率，减少了网络带宽使用30%以上。在同等的编码码率下，窄带高清编码更加清晰，细节更明显。这项技术在国际比赛中也得到了认可。在2022年MSU世界编码器cloud大赛上，该项技术获得了19项的评测第一名。在2022年1月，Ali266编码器正式在优酷平台上线，在保证同等画质清晰的前提下,相比传统的方案，可以节约高达40%的码率，将卡顿率降低了50%，有效控制了成本，在用户体验上也带来了明显的收益。
窄带高清算法在体育场景中视觉感知质量提升特别显著。它在文字、人物、运动等细节方面做了明显的优化，对面部细节、焦点物体都通过了智能算法进行识别，并且在细节的部分分配了更多的码率做编码，大幅提升了关键细节的感知质量。
5、全球实时传输网络GRTN
超高清信息量大幅增加，不管如何优化、压缩，文件和流的体积仍不可避免地会大幅增加。如何保证高质量的视频能在全球范围内流畅稳定传输是必须要考虑的问题。依托于阿里云全球3200多个网络节点，设计了面向超高清、流畅传输和交互的全球实时传输网络GRTN。它融合了超高清的视频流、RTC实时通讯传输、信令传输，形成了三网合一的架构，可以提供稳定、低延时、流畅且高性价比的流媒体实时传输服务。GRTN可以支持多种传输协议，包括RTMP、HLS、传统的流媒体播放协议、RTC协议，确保直播、点播、互动视频都可以通过最佳的路径传输到播放端和互动端。另外，QoS服务质量路由技术让网络可以智能选择最佳的传输路径，确保流媒体的视频流可以在网络波动或高负载的情况下依然保持流畅。智能的路由能力结合全球广泛分布的网络节点使得GRTN能够为超高清视频提供强大的传输保障。
6、AI+音视频帧级并行技术
对于前面提到的一系列超高清音视频内容的处理技术，为达到较好的处理效果，背后都集成了比较先进的人工智能算法。它需要对音视频的每一帧、每个像素做复合运算。
面对超高清内容的庞大数据量，就需要通过创新的平台架构提升处理效率。AI+音视频的并行处理引擎采用的是帧级别的并行处理技术，可以在视频帧被解码成一帧一帧的YUV数据后，迅速分配到多个并行节点上执行。在节点上，AI算法可以同时进行HDR转码、插帧、去噪、超分、视频增强等多种处理，整个流程从解码处理到编码合成上传都统一设计提升整体的效率，平台能够在不足1小时的时间内完成一部90多分钟25帧电影的超高清电影制作。而从前没有并行处理架构，很难做到超高清内容的实时处理。
7、全平台播放器SDK便捷接入
在超高清视频的播放体验上还涉及到全平台接入、播放不卡顿的诉求。为此，阿里云推出了一体化的客户端MediaBox解决方案，通过提供阿里云的端侧SDK支持移动端、桌面端、Web端的全端覆盖能力。广泛的兼容性确保整个超高清的内容可以触达到各个设备上的观众。
通过云端、播放端的联动，可以实现多码率、多语言的自适选流功能，播放器可以根据端侧的能力，根据用户的网络条件、设备的性能智能选择最适合的播放码流，确保播放的流畅性和播放体验。此外，播放器SDK除了常规的点播、直播播放，还提供了实时通信，如音视频的连麦、跨房的联通能力，为开发超高清互动提供高效的应用集成方案。
三、超高清应用实践案例
1、电视台超高清合作实践
基于全链路的超高清解决方案，我们把该项能力整合到电视台的超高清生产和内容发布流程中，实现了传统内容发布流程到互联网化、智能化的发布流程的转变。面对电视台的处理场景，可以离线输出高效的超高清处理算法和窄带高清的能力，电视台可以借助阿里云的技术处理超高清内容，而在公共云上的新媒体号、视频号等内容可以直接借助公共云平台上的转码能力。根据头部电视台的合作的案例，可以看到在同等的码率下，窄带高清算法可明显提升剧烈变化时的画面清晰度。
同时在案例中也采用了端侧播放器的SDK，支持画质优先和流畅优先两种播放策略，通过播放策略的选择，播放端可以根据网络条件自动选择合适的码率，优先播放画质更高的视频，提升用户观看体验。
2、某视频网站超高清+杜比音效制作及工作流
该客户有成千上万部低清晰度的经典电影，希望将内容转换成4K HDR杜比音频版本。客户通过整合视频源的超高清技术与自身业务相结合形成完备的工作流程。
用户首先调用了视频增强服务，启动转码过程，将每个音视频任务细分为多个独立的视频变换和色彩增强任务，与自身业务进行组合合并，实现了多种超分辨率任务的自动化、标准化处理。并且，客户可以把整个业务流程和用户自身的媒资系统工作流程进行合并，整合形成一体化的流程，便捷地把大量的标清、高清视频提升到超高清水平，确保了大屏幕上终端高品质播放体验，为会员用户提供了极致的视听享受，从而提升了用户的会员收入。
本次分享共同探讨了超高清视频的发展趋势，以及阿里视频云超高清的解决方案。从视频智能增强、全球实时传输网络到智能转码，以及播放器SDK，也希望该项技术可以帮助整个行业应对超高清视频带来的挑战。
以上就是本次分享的全部内容。
