图片、视频超分模型RealBasicVSR安装使用 | 机器学习

简介: 图片、视频超分模型RealBasicVSR安装使用 | 机器学习

前言

很久没更新这个专栏了,最近比较忙。前段时间看到了这个模型觉着很有意思,弄下来自己玩了玩,但是没时间写文章,一直搁置到现在。


废话不多说,先上Github地址: RealBasicVSR地址


image.png


从给出的效果来看,还是很不错的,左侧是超分后的画面,右边是原画质,得到明显提升。下面我说一下我的安装过程,还有一些使用中的踩坑,让大家去测试项目的时候可以提前规避。


安装

项目拉下来之后,我们先打开README,看看说明。


image.png


安装的步骤不多,但是还是有一些坑的,下面是我的安装步骤,如果你们自己安装的有问题的话,可以参考一下我的步骤。


1、虚拟环境创建

作者没有给出需要的python版本,这里我用的python3.8


conda create -n real python=3.8


conda activate real


2、安装pytorch

这里本来我以为我现在的最新版本可以跑的,后面发现不行,所以老老实实的按照作者的版本安装。


conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch


3、安装openmim

这里没什么好说的,装就完了。


pip install openmim -i https://pypi.douban.com/simple


4、安装mmcv-full

同上


mim install mmcv-full


5、安装mmedit

同上


pip install mmedit -i https://pypi.douban.com/simple


6、安装scipy

这个作者没写,但是要装。


pip install scipy -i https://pypi.douban.com/simple


7、模型下载


image.png

嗯,在外网比较难下,我下好了,放到我的百度云盘。


链接:https://pan.baidu.com/s/1EFCk5SUsE9BTPR5rlVnKtw

提取码:TUAN


在项目中创建文件夹checkpoints,把下载的文件放进去。如下图


image.png



使用

ok,环境装好了,我们看看怎么使用。


image.png


作者提供了图片文件夹处理方式和视频处理方式,我们挨个测一下。


图片超分

我就不准备用作者提供的demo图了,我自己找了一张,如下图。

image.png



图片尺寸


image.png

放置目录如下

image.png



执行命令如下


python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001 results/demo_001


执行结果


2022-05-08 10:57:06,303 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19

load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth

/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at  ../aten/src/ATen/native/TensorShape.cpp:2157.)

 return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]


结果图如下



可以看出明显的清楚了很多。


结果图尺寸


image.png


视频超分

然后我们看看视频超分的情况,这部分是有一些坑的,后面会说到。


首先我准备了一个视频,视频分别率如下。


image.png


可以看到视频分辨率540p。


执行命令如下,里面有作者给出样例没有的参数,我后面注意里面会解释。


python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/12345.mp4 results/demo_123.mp4 --fps=25 --max_seq_len=2


执行结果


2022-05-08 11:02:01,023 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19

load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth

/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at  ../aten/src/ATen/native/TensorShape.cpp:2157.)

 return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]


最终视频分辨率情况


image.png


注意


1、首先,视频原长度是2分钟的,我截取到5s的视频进行超分处理的。不然会显存溢出。


2、--max_seq_len=2参数也是为了避免显存溢出,总的来看,这个模型不太适合直接跑视频,最好的方式还是跑图片序列,然后最后压缩图片为视频比较好。


压缩图片为对比视频样例

作者给了一个demo程序可以将输出的图片压缩为前后对比视频,如下图说明。

image.png



我测试了一下,代码这里需要改动一下,代码框出的部分需要把注释取消。


image.png


对比视频如下图,左边为超分后效果,右边为原图效果。


image.png


总结

总的来说,该模型处理图片还是效果很好的,可以稍微改造一下,我看有没有空。


分享:


       人类之所以会去照顾其他生物,是因为他感到空虚。之所以会想保护环境,是因为他不想被环境毁灭。——《寄生兽》


相关文章
|
5天前
|
机器学习/深度学习 人工智能 算法
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
100 6
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】Transformer模型大小与性能探究
【机器学习】Transformer模型大小与性能探究
144 5
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】集成语音与大型语音模型等安全边界探索
【机器学习】集成语音与大型语音模型等安全边界探索
96 5
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】Chameleon多模态模型探究
【机器学习】Chameleon多模态模型探究
67 5
|
5天前
|
机器学习/深度学习 人工智能 算法
【机器学习】模型、算法与数据—机器学习三要素
【机器学习】模型、算法与数据—机器学习三要素
53 0
|
5天前
|
机器学习/深度学习
【机器学习】视觉基础模型的三维意识:前沿探索与局限
【机器学习】视觉基础模型的三维意识:前沿探索与局限
44 0
|
5天前
|
机器学习/深度学习 数据采集 人工智能
【机器学习】CLIP模型在有限计算资源下的性能探究:从数据、架构到训练策略
【机器学习】CLIP模型在有限计算资源下的性能探究:从数据、架构到训练策略
74 0
|
5天前
|
机器学习/深度学习 vr&ar 异构计算
【机器学习】Ctrl-Adapter:视频生成领域的革新者
【机器学习】Ctrl-Adapter:视频生成领域的革新者
16 0
|
5天前
|
机器学习/深度学习 监控
【机器学习】基于扩散模型的文本到音频生成:突破数据局限,优化音频概念与实践顺序
【机器学习】基于扩散模型的文本到音频生成:突破数据局限,优化音频概念与实践顺序
23 0
|
5天前
|
机器学习/深度学习 算法 大数据
【机器学习】集成学习:强化机器学习模型与创新能的利器
【机器学习】集成学习:强化机器学习模型与创新能的利器
6 0

热门文章

最新文章