一、背景

　　视频插帧算法，顾名思义，需要计算原始视频中相邻(多)帧间的运动关系，在相邻帧间插入符合逻辑的中间帧，使中间帧能与原始帧无缝衔接，达到提升视频流畅度的效果。当前，插帧算法在学术界不断取得突破，多篇文章通过transformer的引入能够有效提升PSNR等验证指标。但当前大多数SOTA模型在一些通用视频的困难场景下（包括但不限于：大运动场景、重复纹理场景、电影中的台标、字幕）生成的中间帧存在明显的瑕疵现象。而上述所提到的场景，也成为了当前视频插帧在业界所面临的最大挑战。此外，当前的大多数插帧算法仅支持生成t=0.5时刻的中间帧，即2倍插帧，无法一次性实现高倍率插帧以及任意指定帧率转换。针对以上问题，视觉增强团队在Modelscope上线了自研的插帧算法，该算法能够有效提升上述困难场景下的插帧质量，同时该算法支持任意时刻的中间帧生成，输出帧率可由用户任意指定。

　　点击链接，立即体验：https://vision.aliyun.com/experience/detail?tagName=videoenhan&children=InterpolateVideoFrame

二、方法

　　我们的算法采用深度学习方案，完整链路可分为四部分：原始帧间光流预测、光流修复(refine)、中间帧光流估计、中间帧生成。

１、原始帧间光流预测

　　当前，绝大多数插帧算法都是基于光流来实现运动估计的。光流能够表征相邻两帧间对应像素点的运动距离大小，反映同一物体的位置对应关系。通常来说，光流预测的精准程度越高，生成的中间帧也更准确。在我们的算法中，复用了RAFT这一光流模型，用于生成F_0->1和F_1->0。和其它的光流模型相比，RAFT所提出的convex upsample使其在估计快速运动小物体有着更高的准确率。

　　　　　　　　　　　　　　　　　　（输入img0、img1）

　　　　　　　　　　　　　　　　　　　　　　F_t->1

　　　　　　　　　　　　　　　　　　　　　　F_t->0

２、光流修复

　　针对RAFT模型所生成的光流，我们引入了基于cross-attention transformer结构来对原始光流进行修复。该结构能够扩大感受野，结合Unet能够有效捕捉大运动场景下的光流。经过修复，我们可以得到对原始帧间的光流F_0->1和F_1->0实现精准估计。

　　cross-attention transformer^[3]

３、中间帧光流估计

　　这一步的主要目的是通过F_0->1和F_1->0去估计F_t->1和F_t->0，这里我们引入了基于四帧输入的光流估计算法。和两帧输入算法相比，该算法能够更好地捕获快速运动物体的加速度，此外，多帧信息的引入，又能够有效提升重复纹理场景光流估计错误的问题。

　　　中间帧光流估计^[4]

４、中间帧生成

　　这一步借由I₁和F_t->1、I₀和F_t->0，通过backward warping各自生成中间帧。考虑到潜在的遮挡问题，通过mask对两张图像进行加权融合，即可得到最终的中间帧图像。该部分算法和当前大多数插帧算法无异。

三、效果

1、算法优势和功能支持

　　基于深度学习方法，针对大运动、重复纹理等困难场景进行了算法改进。针对电影、电视剧、体育赛事视频中常出现的台标、字幕等场景，进行了训练数据构造和增强，大幅提升了算法的实用性。

　　支持用户指定任意帧率输出，算法可自动计算插帧时刻，并支持任意时刻的插帧。

　　针对部分镜头切换或其它不适合插帧的场景，可进行自动检测和筛选。

2、视频、图像综合增强

　　插帧算法作为视频增强的一部分，能够有效解决视频卡顿的问题。任何低质量的原始视频，都能够在增强修复后变得焕然一新，让你享受到极致高清、饱满、丝滑的视频观看体验。

四、展望

　　除了视频编辑和修复功能，未来我们还将持续探索插帧技术更为广阔的应用场景。当前随着大模型的兴起和层出不穷的AIGC玩法，插帧在图生视频、图片场景串联转换等领域，仍然存在巨大的潜力等待我们去发掘。

五、参考

[1] Teed, Zachary, and Jia Deng. "Raft: Recurrent all-pairs field transforms for optical flow." European conference on computer vision. Springer, Cham, 2020

[2] Huang, Zhewei, et al. "Real-time intermediate flow estimation for video frame interpolation." Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XIV. Cham: Springer Nature Switzerland, 2022.

[3] Lu, Liying, et al. "Video Frame Interpolation with Transformer." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

[4] Xu, Xiangyu, et al. “Quadratic video interpolation.” Advances in Neural Information Processing Systems 32 (2019).