作者| 阿里文娱算法专家 静斋、阿里文娱算法专家 邑尘
一、系统设计背景
互联网视频平台以内容为王,如何帮助内容发挥更大的价值,是技术团队一直努力的方向。 优酷媒体生产团队服务于优酷全站的内容生产,并与媒资运营一起保障着 OGC/PGC 内容的上 线时效与质量。为配合媒资运营提供高时效,高画质,易操作的在线剪辑服务,技术团队启动 了媒资中心全方位升级项目,从基础提效、供需分发匹配、标签体系和生态供给等多个维度, 实现媒资的智能化生产和有效供给,优酷直(播)转点(播)在线剪辑系统应运而生。
直转点在线剪辑系统是一个基于 Web 页面的在线生产剪辑系统,前端页面用于用户操作剪 辑并预览效果,后端剪辑服务接受前端指令来做视频的裁剪、遮标、整档上线,拆条等功能, 可支撑不同的生产业务方流水线工作,极大的提升生产效率。
本文将介绍其中最常用的直播转点播业务,描述我们如何从生产时效以及智能化上助力生产。
直(播)转点(播)的业务,应用于广电或者第三方的直播流,在线剪辑快速上线的业务 场景。比如,双 11 猫晚直播结束后,剪辑的完整版在 30 秒内就可在优酷上线,并具备直播流 实时帧级剪裁、遮标等功能,时效上领先行业。
二、直转点在线剪辑系统架构
1.系统架构
1)核心模块: a)前端页面:用于用户录入视频信息,提交录制任务,操作剪辑,预览效果等功能; b)前端服务:用于记录用户操作,转发指令到媒资服务、剪辑 API 服务等功能; c)媒资服务:视频节目信息入库存储,视频送审,介质管理等功能; d)剪辑服务:主要包含实时转码收录,重转码两个模块,用于直播流收录剪辑。 2)生产流程如下:
a)用户通过前端页面发起收录任务; b)转码收录拉取直播流实时收录转码;
c)用户通过前端页面预览收录内容,进行打点剪辑,遮标等操作,并可预览前端模拟剪辑 的效果;
d)重转码服务接受剪辑指令,对检测遮标等操作做最小化转码; e)提交视频上线发布。
2.转码技术
1)转码收录单元
收录单元的主要功能是录制直播流,支持 rtmp/hls 等多种直播拉流方式,具备 7x24 小时不 间断的稳定录制能力,为后续的剪辑提供基础性物料。
收录单元可分的三个模块:
a)前处理模块:针对信号源做前处理,包含 sar 纠正、遮标、加标、hdr,画质算法优化等 功能;
b)多路并行转码:用于转码各清晰度流,保证上线后各档位帧级对齐;并支持单独录制原 始流做存储备份;
c)切片模块:多路帧对齐切片存储,上传到 oss 存储的管理,切片存储可以为后续剪辑时 做最小化转码提供便利。
2)重转码系统 重转码系统用于对用户下发的剪辑指令做最小化转码,业务上可分为两大类: a)整档发布:用于发布整档内容,例如整档晚会的生产,可以剪裁掉直播流中的广告片段,
遮台标,浮层广告等功能;
b)拆条发布:用于做精华片段拆条,并引入智能化算法,可依据视频分析做智能拆条,横 屏视频转竖屏视频等功能。
重转码系统主要由切片转码技术实现,首先,定义打点协议,如下图中所示。前端预览视 频,进行打点,提交到服务器。其次,服务器使用转码工具对涉及转码的分片进行最小化转码, 多档位并行处理,用最简单的转码提供最快速的能力。
切片转码技术,是直转点的时效精髓所在。关于切片转码的理论,在多年前就已经出现。 但真正使用,会遇到各种各样的问题,比如声音衔接、多清晰度对齐等问题。我们基于传统的切片理论,并结合独有的工程实现方式,最终将并行切片转码应用到真实的工程中来,并取得 极好的效果。
3)剪辑整体数据链路
3.关键技术
1)断流续录
7✖️24 小时的录制,难免遇到输入流的各种异常问题。能够智能重连,是实现7✖️24小时录 制的必备技术。通过分析输入流的中断方式,实现了具备自动重连机制的断流续录架构,自动 探测上游链路的健康状况、对当前链接添加超时检测、保持上下文状态的方式实现断链重连, 并保持时戳单增。
2)智能生产 我们在剪辑系统中引入了很多智能分析算法,例如智能检测台标遮标,自动去片头片尾广
告,智能横版转竖版,智能拆条等功能。
例如:竖版拆条示例,算法可自动分析出竖版区域,并在用户界面中圈出供用户选择。
三、系统展望
经过两年多的技术沉淀,我们这套系统也在不断的补充生产能力,例如更高清转码流 hdr/4k 的准实时录制,智能的拆条剪辑,依据 EPG 电视台节目单的自动录制等。目前从时效上已经领 先业界,但直播重点内容还是需要人工参与帧级剪辑+审核,所以智能化生产上还有很长的路要 走。此外,目前这套系统部署在优酷内网,并服务于优酷内部重点内容,未来时机成熟后会考 虑迁移上云,服务于更多的用户。
本章内容出自《智慧文娱》电子书,118篇精选文章,900页丰富呈现,覆盖8大技术栈,纵览文娱技术全景。阿里文娱团队匠心出品,点击免费下载完整版!