2. 科技冬奥的新内容生产力
AI与机器学习在体育媒体视频生产领域的应用是产业的大势所趋，随着数字化媒体的高速演进以及受众媒体内容消费习惯的持续更迭，碎片化的短视频内容已经成为各内容消费领域的主流，体育媒体内容领域也不例外。
此次冬奥会更是以科技冬奥为主旨，AI在其中的作用至关重要，基于AI编辑部，其云上智能生产能力“AI云智剪”在赛事内容生产中发挥了巨大价值，已俨然成为科技冬奥新内容的生产力。
以比赛本身为核心，AI云智剪通过对赛事内容的精彩信息进行定义、提取，从比赛视频、解说词音频、人物场记等各个维度进行识别与分析，并利用多模态融合技术，从实现复杂场景下的特色集锦效果。AI云智剪可以对体育赛事视频进行高效的AI内容分析，可以实时生成多种类型的集锦内容，除了精彩动作镜头、运动员集锦等单赛事中的重要片段以外，还支持国将风采、凌空之美、小将出征等多种复杂主题类型的集锦视频生产，实现视频内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产能力覆盖。
AI云智剪依靠阿里云视频云强大的流媒体处理能力，可以保证每场比赛的精彩集锦，在3-5分钟内生成，再由平台快速发布出去，极大提升了媒体抢占先机的能力和大众尽享冬奥赛事的体感。
AI云智剪流程图
如上图所示，AI云智剪的智能生产过程，主要包含两个步骤：
• AI模型要对赛事视频进行理解，基于在AI领域的长期积累，AI云智剪可以对多种体育赛事进行细粒度行为、赛场事件、人文事件、镜头类型的深度理解，同时对视频片段进行美学评价、动作精彩度评价、多样性评价，这等同于整个系统的眼睛和大脑，只有看得多、看得细、想得全、想得快，才可以在激烈的冬奥赛场上，为观众们尽快呈现精美绝伦的内容。
• 基于AI模型输出的各类型片段和多指标评价，素材生产模块会基于符合权重进行素材选取，生产大量精选素材，同时也输出多种主题集锦素材。
同时，为了响应绿色冬奥的主题，AI云智剪首次采用了单视频理解模型，对多赛事、多来源、多种类的视频进行内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产。
该视频理解模型有三点突出的内容价值：
• 可以对横跨自由式滑雪、花样滑冰、单板滑雪、冰球、速度滑冰、短道速滑等多个赛事中的众多细粒度动作进行识别，捕捉精彩瞬间。
• 可以对赛事视频中的非竞技动作进行识别，感知观众的欢呼、选手的情绪、颁奖夺金等关键时刻。
• 可以对镜头类型进行区分，进行多类型素材的智能化组合。
将完成如此多重复杂的任务重担放在一个模型里，这也对AI云智剪的AI模型泛化能力带来巨大的挑战。
点击这里查看视频：永不放弃！冬奥健将们跌倒后爬起的坚韧
点击这里查看视频：人均“小陀螺”花滑女将踏刃旋转
3. 冬奥云上新内容背后的新算法
通过AI云智剪呈现新内容，冬奥的云上智能生产运用了全新的智能算法技术。从本质逻辑上，AI云智剪是基于智能算法模型，对视频赛事进行解构、解析、评分，最终再基于多样性策略，以及AI模型输出的多样性评分进行智能化的视频素材生成。
正是依托前沿技术，AI模型可以在较少的计算资源需求下，实现多赛事、多来源、多种类的视频进行内容解析、集锦素材生产。
协同阿里云视频云的技术输出，阿里巴巴达摩院的算法工程师采用了阿里巴巴最新研发的预训练模型技术LOOK（该技术已经被人工智能领域顶级会议ICLR 2022录用）。相比于常见的训练方式要求所有的同类别样本特征接近于一个中心特征，LOOK可以在模型训练过程中仅要求接近的同类样本更加接近，保留更多的特征自由度。
可以认为，这是从一个“求同去异”到“求同存异”的过程改进，正因为在训练过程保留了更多的有效信息，也使得模型特征的表示能力更加通用，最终基于这一个通用表征的基础模型，构建了多个轻量级的多分枝任务模型，去完成多项任务。
因为共享了同一个基础表示模型，在计算消耗上多个任务分枝比单个任务分支增加的额外计算负担几乎可以忽略不计，但却可以和直接使用多个模型达到同样的AI能力。
正是基于这一技术，AI云智剪更快更高更强地支撑起冬奥会的短视频生产任务。
预训练模型技术LOOK示意图
在使用预训练模型技术以外，由于此次冬奥会视频数据是模型“从未见过”的数据，为了保证模型的鲁棒性和计算结果的稳定性，阿里巴巴最新研发的开集识别技术NGC（录取为ICCV 2021 Oral）也被引入其中。AI模型会同时利用模型预测的置信度和特征的几何结构，来共同决定最终结果，这也使得AI云智剪虽然是第一次在冬奥会上登场，但也是相当的“稳”。
开集识别算法NGC示意图
此外，阿里巴巴达摩院在视频理解领域积累了大量技术，包括基础模型表征，时序特征建模、自监督表示等，通过阿里云视频云AI云智剪的能力输出，均在这次冬奥会中展露头脚，也被开源在EssentialMC2技术框架中，以此致力于推动视频内容理解领域社区的技术发展。
