AI运用爆发时代，视频服务云原生底座“视频云”架构的全智能再进化
内容介绍：
一、背景
二、视频AI应用挑战
三、视频的底座-云，网，端
四、AIGC时代下视频云的全智能化
五、未来展望
本次分享的主题是AI运用爆发时代，视频服务云原生底座“视频云”架构的全智能再进化，由阿里云智能集团视频云负责人何亚明分享。
今天主要讲解视频云原生底座“视频云”架构的全智能进化。
一、背景
首先聊一下视频 AI 面临的挑战，然后介绍底座云网端，接着探讨 AI 时代下的重要计划，最后展望未来发展。
时间过得很快，2022 年底我们迎来了chatGpt，如今有众多大模型，2023 年整个 AI 领域大模型百花齐放，算力和 GPU 的需求推动了大模型的快速迭代。今年我们看到了一些新的趋势，1 到 8 月，AI 应用逐步落地，越来越多的 AI 应用开始创造价值。
如果说 2023 年是 AI 大模型爆发之年，那么我们认为 2024 年将会成为 AI 落地之年。在 AI 应用场景中，图像+视频至关重要，在 AI 带来的流量中超过 50%来自于图文和视频。在视频 AI 这个最长的赛道里，它面临着一些挑战也带了一些机遇。从视频的发展来看，我认为内容和交互比较新，这是 AI 带来的新变化。
在当前社会，内容视频化浪潮下，越来越多的内容以视频形式呈现，视频作为比文字和图片更高阶的载体，承担着越来越多的内容呈现形式。另外，交互也在不断变化，从一开始的语言文字、声音到现在丰富的视频交互形式，在各个平台上都有体现。所以，视频的机制无论怎么变，从十年前到现在始终围绕着内容和交互。AI 带来了新的内容，让我们更快速地融入到视频内容和交互中，AI 可以给视频带来更多变化。
首先是内容，视频的内容分为两部分，一个是流量内容，或人工智造的内容。比如用手机摄像头拍下来的这些内容，在这些内容中 AI 可以起到很大作用，但更多的是效果的提升增强。比如从标清视频到 4K、8K，从 FHD 视频到 SDR，对极致体验的追逐带来视频效果的提升。在这里，AI 真正参与其中，不管是从高帧率到差分超分，各种增强以及老片修复，实际上就是在新的方面让视频内容效果不断提升，带来更多变化。
另外一个是创造内容，我们看到SOR这样的平台以及各种大模型在创作方面的应用。但还有另外一种创作叫二次创作，即在原有的视频里用 AI 进行剪辑、一键混剪、精彩剪辑或者像数字人这一类的创作。所以说在今天这个新内容的情况下，不管是内容的增强还是内容的创作，AI 都起到越来越多的作用，全面融入到内容的广度和内容的生成中。
另外看视频的交互技术。回顾历史，我们的交互方式从GUI时代用键盘、鼠标，到互联网时代用手指、手机进行交互。现在的 AI 时代，我们更多地回归到自然语言的交互，人们开始用真正的自然语言进行交互。现在将更多的 AI 能力渗透其中，我们有可能回归到自然语言作为交互的时代，不管是未来的智能化还是机器人化。整个交互的趋势是越来越智能化、越来越自然化。另外，在整个视频发展的历史中，包括现在的 5G 时代，都是围绕着传输的原则。
从最早的直播到普通直播、DNS 直播，再到可以带货、打赏、互动的直播，以及视频会议、VR 等，都是围绕着降低延迟这个原则。在每个时代，降低延迟标志着我们的技术在进步，我们的基础设施、基建能力等各方面都在向前发展。AI 的变化加上第二代技术进一步向超低延迟、向脑机延时这样的方向发展，带来了核心的技术举措，能够应用到非常多的场景。
二、视频AI应用挑战
那么面临着以下几个方面的挑战。第一方面是算力，不管是 AI 的应用，无论是推理还是训练，都要消耗大量的算力。而过去两年的 AI 时代告诉我们，最难获取的是 GPU，是高算力，这也是英伟达辉煌的原因。所以算力的追求实际上是我们 AI 首先要面临的一个挑战。另外，成本也是一个挑战。常规机器技术和许多成本技术带来了高成本的挑战。在高消耗（包括计算消耗和带宽消耗）的现实情况下，如何实现低成本、普惠化，这是一个矛盾，也是一种挑战。
还有一个挑战是效果。AI 的浪潮已经经历了两年，从一开始大家看到文生图、文生视频等带来的惊艳感在慢慢消失。从最初看到这些时的惊艳到最后真正将其运用到日常生活中，如何让真正的 AI 效果满足我们的需求，这也是高期待与 AI 目前实力和效率现状之间的矛盾，是一个比较有挑战的地方。另外就是性能。不管是好的交互体验还是沉浸体验，都需要良好的性能。在端到端的延迟非常长的时候，如何降低计算延迟和传输延迟，这也是一个严峻的挑战。
三、视频的底座-云，网，端
1.视频底座
接下来介绍如何解决这些问题。说到底，视频的底座不外乎云、网、端。云很容易理解，就是云计算带来的集中算力，不管是所有的 AI 能力，如窄带高清、高分实时抠图等都需要算力。在当前时代，算力不能简单地通过自己买显卡就能搞定。在规模化的时代，算力需要云，无论是共有云还是混合云，它都非常重要，为我们的 AI 底座提供算力支持。
网就是传输的网络，包括大家熟悉的 CDN 以及现在整个的DNS传输网络，其基础设施保证了传输速度能够降低。当然，视频中的各种流媒体协议的进化，从最早的 RTMP 到现在的各种协议升级进化，让网络技术能够越来越多地承担DNS传输的技术。
第三个是端，即客户端。所有的体验最后都需要由端来呈现。不管是手机、平板，还是家里越来越多的智能电器、智能音箱等越来越多的 AR/VR 设备，它们都是端，都需要有端的能力来承接这些音视频。所以，不管是各种各样的端芯片，还是各种各样的端操作系统，如安卓、iOS 以及国产的鸿蒙等，所有这些都需要考虑端的发展空间。视频服务依然是由云、网、端三个部分组成。
整个云网端也是一个发展的过程。回顾历史，从最早的媒体播放时代，在单机上播放媒体文件时，那时候可能还没有真正的云的概念，所谓的网更多的可能是局域网。在那个时候，云网端没有真正形成。当进化到流媒体时代，有了更多的流媒体协议，那时候网络更多的是一种管道连接，提供协议保证流媒体文件能够高效、可靠地到达播放端。
再进一步，到了有超低延迟直播、视频会议的时代，云网端就更加紧密地结合在一起。因为很多能力，比如开视频会议时的美颜特效等，不一定能在端上实现，所以很多时候更需要将云、网、端紧密连接在一起。
在今年这个时代，当 AI 到来时，云网端越来越紧密地融合为一体，通过 AI 将云、网、端深刻而有机地连接在一起。我们可以把视频业务分为不同的层面来看，它是一个整体架构。从视频采集、生产制作、媒体数据内容分发到媒体消费，实际上背后对应的就是不同的阶段。比如采集端对应的可能更多是端的能力；生产制作和媒体处理对应的可能更多是网的能力；
内容分发可能更多用到云的能力；而在媒体消费和播放侧，实际上更多的是端的能力，但也有云的能力，因为很多媒体内容也会在云端进行消费。对于视频业务来说，从底层的存储、网络到各种媒体管理和服务，整个构成了一个完整的云网端架构。
再回到阿里视频，它是一个全面依赖云网端架构的业务，利用阿里云的底座、强大的网络、各种算法和服务能力，对外提供直播、点播、媒体服务 RTC等产品，服务不同的行业和客户。比如，在当前的云网端架构下，为什么需要进行云原生，视频为什么是最好的案例。这是因为通过云的弹性，可以提供低成本、高可靠、安全、可用、普惠的能力，这些能力都是建构在云上面的。
2.云:大模型融入云媒体处理全链路
在今天这个时代，云网端都有一些变化。在云方面，回到云计算的本质，越来越多的 AI 能力和大模型的能力引入到云的全链路中。从创意、采集、内容管理到生产制作、处理、消费，越来越多的 AI 能力融入其中。整个媒体引擎从传统的媒体引擎升级为智能引擎。以前，AI 能力可能作为附加能力，比如在 200 0年处理中作为附加功能，现在 AI 能力已经完全与传统视频能力结合在一起。
而且整个引擎是分布式的、异构的，可以带动各种云资源，如 CPU、GPU、TPU 等。在整个引擎里面，分布式地让不同层级进行 AI 与媒体能力的融合，形成一个分布式的体系。这带来了很多以前想做但很难做到的新能力，比如一键生成、智能搜索、AI 互动、视频直播、多语种音频翻译等，在云的推动下变成了可能。
网:新一代流媒体传输网络GRTN
第二个方面是网。这是构建在传统 CDN 上面的全球分布式传输网络，包括从 60 毫秒到网易云音乐那样的低延迟点播等不同业务场景，通过资源复用、技术融合、业务融合带来成本和效率上的综合优势。网的变化也经历了多个过程。最早可能是一张传统的中心到边缘的网络，逐步变成一张网状网络，因为在如今人与人的DSN情况下，只有网状结构才能提供最低的延迟和最短的物理距离跳转。
而且，根据不同场景，无论是树状还是网状，能够动态组网、智能路由、利用不可靠的网络资源实现可靠传输，这是非常重要的部分。另外，算网融合也是一个重要方向，解决延迟问题（传输和传输），当把计算和传输放在一起时，能极大降低延迟。把这种能力逐步渗透到算力里，让计算在接近传输的过程中带来更多的延迟。
3.端
在端上做的第一步是一体化。以前可能使用的是各种SDK，每一个场景都需要一个新的SDK。但是在端上面我们进行了一体化，就是把整个音视频相关能力集成起来，成为整个端的一体化底座。根据客户需求自由配置端的能力形成一体化的SDK。如果需要播放能力就配置播放器，需要美颜能力就配置美颜模块等，这样可以极大程度地降低资SDK大小，大概能降低 60%。
另外，越来越多的端侧智能在不断发展，随着 AI 应用会向云上发展，推理会带来越来越多算力需求，但并非所有需求都要靠云端解决。现在可以看到，新的智能手机等设备端的CPU能力越来越强大，很多智能需求可以在端上实现。比如从一开始最简单的美颜等能力，到超分差分增强等越来越多的能力会逐渐移动到端上，这就是所谓的端侧智能。
还有一个变化就是云网端的结合，AI 的发展不可能是简单的单靠某一方，一定是云、网、端三位一体，云端做大量计算，端上配合做后处理、做各种协议适配，网络完成最后的传输分发，越来越多的云网端配合才是真正的架构升级。
四、AIGC时代下视频云的全智能化
1.云的进化
现在来看在ai时代下视频云全智能进化。第一是云的进化。在架构上，支持越来越多的把 AI 能力与传统媒体能力结合在一起，通过分布式引擎让算力和成本能够一体化降低。越来越多的 AI 能力引入后，让云计算不再是简单的转码，而是将各种 AI 能力应用到生产流程、媒体处理流程以及更多的内容环节中。
这里举了三个例子，比如媒，陈述了更多的生产流程，包括在内容生产中应用新的效果，对媒字中的物体进行理解等，让媒体效果更加出色。另外，媒体处理中的转码也从传统的简单压缩转变为智能转码，对视频进行增强、锐化等各种处理，从人的视角让视频质量变得更好，让媒体处理更加极致化。
另外，内容作为重要资产，以前存在一个问题，即视频非常难以索引化。文字可以被搜索和索引，但视频是非常难。在小视频时代，只能通过打标签、关键字来对视频进行检索。但大模型时代带来最大的变化是能够深刻理解视频内容，在对视频内容的理解上可以进行检索，并在此基础上打开更多创作的可能性，对不同精彩内容的剪辑和进行二次创作等。本质上是对视频内容的深度理解。
2.网的进化
网的进化方面，以往直播更多围绕在低延迟上，从最早的直播到超低延迟直播，比如卡塔尔世界杯上的视频直播已经在毫秒级别。另外，像在 5G 等场景下，包括三星堆等虚拟化直播包括云渲染，可以让你身临其境的操作体验，把延迟调到很低。现在另一个方向是与 AI 结合，即 AI 加上 RDC 断网融合，把延迟和算力结合起来，可以随时互动，这是网进化的一个重要方面。
3.端的进化
端的进化，最早是SDK整合底座，最大程度上实现所需的能力，然后在上面构建不同的SDK。再根据场景化需求，引入低代码的 AUIKits，让用户根据自己的需求快速将视频能力融入到业务中。另外，针对内容出海，越来越多地把 AI 能力应用到端上，包括端上内容翻译、字幕、内容安全保护等。
云网端的结合计划都是围绕着AI的核心能力，依托阿里云全球的基础设施、服务能力、数据中心和全球飞天节点等，使云网端形成融合的底座。通过各种空间的媒体处理、分发和内容生产，把以往的能力通过 AI 串联和各种解决方案，应用到多行业的竞争中。整个视频能力也从传统的泛娱乐和传媒行业以音视频为核心的能力和大量的核心内容行业逐步向其他行业演进，如新兴内容行业、新的内容 AI 互动行业，从互联网行业向传统行业拓展，视频能力作为一种能力在各行各业中会被越来越多地运用。
范围从传统的泛娱乐和传媒行业向更多信息领域和其他行业转移。就像一张图片可以抵一篇文字，视频可能可以表达更多内容。现在带大家看一下在 AI 的加持下，视频能力在哪些方面有更多的演化和增长。
大家看到左边的视频增长示例是环绕立体声，用简单的传统设备制造出环绕地球的效果。可以听一下处理前后的效果。这种方式从传统的音频设备通过一定的计算能让用户听到 5.1K 的智能效果。右边是视频增强，从传统拍摄的视频，如从 1080P 升级到 4K 并进行 HDR 处理进行超分和差分，获得更好的视频效果。
4.窄带高清
在整个视频处理的转码环节中，阿里的窄带高清技术，是结合智能算法，根据人眼的特性进行处理。人眼不可能对视频里的每个区域都关注，会忽略不重要的部分而关注重要的部分。窄带高清技术就是增强人眼关注的点，减少人眼不关注的点的码率，从而减少算力消耗，同时让视频效果更好。
可以看一下视频效果，像线条、文字等都是人眼关注的点被增强，后面利用窄带高清技术后，不仅让人脸识别等能感受到视频内容增强带来的冲击，还节约了码率。以一个客户案例来说，左边大概是六道，右边是 4.8 道，节约了 30%以上的码率，但效果看起来更好，而且视频支持从 H.265 到 H.266 前自研国产系列。
编码技术实际上是一个古老的技术，去年也有，今年最大的变化是越来越多追求 AI 的能力，用大部分的能力和defusoom标准模型的能力来做增强，用越来越多的 AI 能力帮助传统视频编码带来更好的效果。还有很重要的一点是在虚拟直播间这样的内容中，今年 AI 带来的变化，特别是在端上 AI 能力的增强，让以前很多需要借助高性能 GPU 才能实现的能力如抠图，如今利用端上的能力就可以实现。
左边是北京冬奥会的虚拟直播，能把分别在不同地方的人营造出在同一个场景的效果，也体现了在视频直播领域的技术布局。右边是利用简单的手机观看能力就能完成实时的实体操作，与现在会议中用到的背景抠图不同，它针对广播级别的要求，每个项目都能抽取得很好，且不依赖绿幕等背景。
5.视频翻译:跨文化内容传播
今年在视频翻译方面也有很多应用。其中一个很大主题是内容出海，文化中有很重要的一点是语言障碍。在保留声音声调的情况下，利用云、 AI 能力快速进行原语言翻译。比如孙悟空的例子，保持了原来的声调语调，还进行了口型对比。因为中英文发音时长不一样，简单翻译可能口型不对，所以在翻译后进行声音扩容和口型对比，让视频翻译变得简单。右边是针对有很多角色的情况，AI 会自动根据每个角色克隆声音，完成翻译、字幕插入和新字幕转换，整个内容无需人工干预。可以看到很多角色都有自己的声调语调、情绪，多条私语时也能被 AI 捕捉到，完成翻译，说明 AI 对内容生产有很大助力。
再往前看，不仅可以中英翻译，还可以中文到粤语等其他语言的翻译。也保留了视频中的语音语调。虽然翻译质量还可以不断提升，但想说明 AI 带来的可能性。
另外再看一下精彩集锦。在 AI 情况下，我们看到很多变化。比如左边的赛事集锦，可以把一个比赛自动提取精彩部分，进行翻译和配音。大家可以看一下效果，如对樊振东比赛的描述。整个内容其实都是 AI 生成的，根据客户需求生成特定时长的集锦。AI 会基于对视频的理解，在原视频中寻找对应内容进行整理，最后用特定技术形成真正的片子。
除了中文，还可以结合英文翻译等。可以看到，从体育赛事到影视剧等，都可以通过 AI 来完成，展示了一些可能性。接下来我的同事还会继续分享这方面的内容。因为刚刚讲到视频内容作为重要资产，从可播放到现在可以被理解、被搜索，都是基于多模态大模型对视频的理解，可以提取视频特征，与数据库进行匹配，实现各种可能性。
这里举了两个例子，可以在整个视频素材里通过自然语言搜索想要的东西，而且这些都是以前没有打过标的内容。左边是找到了一个人在奔跑的视频，还有“霸道总裁”等内容。可以看到在真正的 AI 影响下，AI 带来的变化不是简单的一个新功能，而是以前不可能完全实现的一些能力。以前需要通过小模型打标、不断人工调整的内容，在今天大模型的时代、AI 的时代变得越来越有可能。
另外提到 AI 实时互动，云、网、端的结合以及与智能互动的结合是现在 AI 互动中非常重要的趋势。有了不同的大模型后，越来越多的场景可以利用 AI，比如智语音助手、数字人互动课堂等。这里体现了云网端结合的变化，包括更多的 RTC 端上的能力，通过传输网络、云端进行服务的智能编排，各种 AI 能力如 PDF 能力、ASR 能力等融合在一起。右边来看三个例子，第一个是智能语音助手，在有被打断和噪音的情况下，AI 还能继续讲述故事并叠加互动。第二个是英文语音助手案例，可以在有噪音等极端环境下结合视频处理能力、降噪与 AI 结合进行服务编排，还可以运用音频翻译、音频克隆等能力。最后一个例子是实时模仿声音并用英文回答，这些能力结合在一起将带来更多应用可能性。
最后讲 AI 对刚刚结束的巴黎奥运会的影响。这一次巴黎奥运会，有非常多的 AI 技术运用到奥运会中，如多视角视频回放、“子弹时间”等。左边是男子百米决赛，右边是男篮决赛，可以看到在整个案例中，除了以前简单的慢镜头回放，现在有越来越多的 AI 加持下的“子弹时间”、多视角回放等，让体育赛事变得更加精彩。最后一个案例是在巴黎奥运会上利用阿里的技术，把简单的几张图片变成具有工业化的视频。
回顾刚刚举的这些能力，实际上是视频传统板块中能力提升的一部分。这张图更多地展示了传统的底层，有直播、点播、智能媒体服务服务RTC 提供越来越多自然的低延迟能力。基于端上的能力构建整体的视频解决方案，服务于互娱传媒、教育、活动赛事等各行各业。希望这些传统的能力能帮助越来越多的企业和客户实现自主能力的提升。
五、未来展望
未来的展望，在我看来仍然围绕着视频的内容和交互。AI 会加速融入到视频内容的生产制作中，现在 AI 能力作为辅助帮助大家实现更多视频能力的增长。再往后，真正的 AIGC 能自动创造越来越多的视频内容，令人期待。另外，交互会更沉浸、更自然，我们已经看到了未来的趋势。但目前还没有看到 AI 时代原生的杀手级应用出现。
在互联网时代有门户网站这样的杀手级应用，移动互联网时代有谷歌、淘宝、支付宝、抖音等。AI 时代也一定会迎来 AI 杀手级应用，虽然我们不知道是什么样的应用，但非常期待。未来已来，视频营销已经做了很多准备工作，希望在未来的 AI 时代，能帮助更多客户及其客户提供更优质的视频服务能力。后面还会有更多关于 AI 的演讲和分享。
本次云栖大会有三个专场。今天下午是第一个专场，即 AI 新进化专场。明天下午有 AI 加速新航海专场，后天有第三个新奥运专场。刚刚展示了很多内容，希望大家可以去现场亲身体验。
在二号馆游戏展馆有自动互动展台，包括 AI 生成视频、AI 自动内容搜索、AI 互动能力以及视频翻译等都有展览和互动，大家可以亲自去体验，看看是否能满足需求。在三号馆全员用户馆也有云栖子弹时间的展台，通过虚拟场景可以体验 VR 游戏互动，同时通过视频云剪辑的技术可以自动生成短片，大家可以扫码下载作为自己的纪念。视频应用实际上是围绕人的极致体验、对内容的追求来实现的。
说再多不如亲自体验，非常欢迎大家到二号馆和三号馆进行视频应用的体验。也希望通过云栖大会有机会和大家进行更多交流，欢迎大家扫码，若有更多的问题和需求，可以在直播间进行交流。
