【OpenVI-图像超分实战篇】别用GAN做超分了,快来试试基于扩散模型的图像超分吧!

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原、老片修复,图像超分辨率等方面大放异彩。图像超分辨率是视频增强方面,用于提升画质的典型应用。生成对抗网络GAN使得在图像分辨率增加的同时,保持细节特征,补充生成真实的纹理,其中应用广泛的工作是Real-ESRGAN。 扩散模型DiffusionModel在图像超分辨率这方面的新的应用,展现出其超过GAN的生成多样性和真实性。看完后,你会发现,还在用GAN做图像超分辨率吗?已经OUT了,快来试试DiffusionModel吧!

经典图像超分辨率算法Real-ESRGAN

 先来看下GAN来应用到图像超分辨率的经典方法Real-ESRGAN。

1.png

生成网络是ESRGAN的生成网络,保持不变,首先用L1 loss,训练以PSRN为导向的网络,获得的模型称为Real-ESRNet,然后Real-ESRNet的网络参数进行网络初始化,同时使用 L1 loss、perceptual loss、 GAN loss损失函数,训练最终的网络Real-ESRGAN。

 训练数据可以自己收集,使用退化方法,构建样本对。细节的生成能力依托GAN的作用,GAN的生成能力的发展进化已经经历了多年,在此不做赘述,但从实际应用中看,对于图片生成的真实性和多样性仍然有待提升。


扩散模型简介

 扩散模型(DiffusionModel)近几年开始受到广泛的关注,下面可以通俗地以denoising diffusion probabilistic models (DDPM)为基础的扩散模型的基本原理。

2.png

 扩散模型的前向过程:不断给图片加噪声的过程。

 扩散模型的逆向过程:一步步去除图片噪声的过程。

3.png

 DiffusionMolde的训练大致可以概括为,通过构建一个Unet网络,预测每一步加噪声的强度,通过理论推导,可以得知这个训练只需要使用L2 loss监督。训练完成后,就可以从高斯噪声开始,根据逆向过程的采样方式,恢复出清晰图像。

 近两年,越来越多的工作验证了扩散模型在真实性和多样性的生成能力上超过GAN。很快扩散模型被应用到各个领域。


扩散模型在图像超分上的应用

 下面重点看下在图像超分辨率方向上扩散模型的应用。

SR3 (Image Super-Resolution via Iterative Refinement )

 这个是最早应用扩散模型做图像超分辨率任务的方案。该方法的思路很简单,直接将低分辨率图像LR简单的上采样后作为条件一起输入Unet。这样扩散模型的生成结果受LR引导,得到对应的高分辨率图像SR。

4.png

LatentDiffusion(High-Resolution Image Synthesis with Latent Diffusion Models )

 接下来重点介绍这个工作,LatentDiffusion借助AutoEncode将扩散过程压缩到潜空间,减少了计算量,增加了扩散模型生成的鲁棒性。潜空间上的对生成效果的rate-distortion trade-off如下图示意:

5.png

 Latent Diffusion也就是如今大火的StableDiffusion的基本方案,技术框架大致如下图所示:

6.png

 基于latent diffusion model的图像超分辨率方案,我们称做LDM-SR,和SR3的做法相似,这里直接将LR和Laten space 噪声合并一起,输入到Unet,后面通过Decoder 4倍上采样,生成对应的超分辨率图像。相比SR3 在生成结果上取得更低的FID值,并且视觉效果上更自然细腻。

7.png

 总体来说,基于扩散模型的超分辨率方案相比GAN,取得了长足的进步,在细节和纹理生成能力上上了一个大台阶。


我们的生成式图像超分方案

 达摩院开放视觉团队,在图像超分辨率技术上演进上,应用最新的Diffusion Model,搜集了大量几十万张高清图像数据集,训练了新的基于扩散模型的图像超分辨率模型,已经上线了,可以来试试效果吧。

体验地址:

生成式超分服务官网

达摩院视觉开放平台

 下面给出几组,基于LDM-SR和Real-ESRGAN的效果对比,直观感受下吧!

8.png

9.jpeg       

 Real-ESRGAN x4  

13.jpeg

 LDM_SR x4

10.png

 原图

11.jpeg

 Real-ESRGAN x4

12.jpeg

 LDM_SR x4

 此外,LDM是Stable V1的基本构成,最新的工作StableDiffusion V2 ,将多模态技术引入了图像超分辨率方案中。文本信息的引导,使得扩散模型 “更懂得要生成的目标细节特征”。基于多模态的超分辨率技术方案也即将上线,继续关注达摩院最新技术发布!

相关文章
|
6月前
使用高性能服务器训练StableDiffusion——人物模型.safetensors
使用高性能服务器训练StableDiffusion——人物模型.safetensors
56 0
|
编解码 人工智能 算法
社区供稿 | AIGC图像分辨率太低?快来试试像素感知扩散超分模型,你想要的细节都在这里!
本文介绍了一种全新的基于SD生成先验的图像超分辨率和修复算法,在多个任务上都有着SOTA的表现。
|
机器学习/深度学习 编解码 算法
【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
图像上色是老照片修复的一个关键步骤,本文介绍发表在 ICCV 2023 上的最新上色论文 DDColor
2756 10
【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
|
编解码 人工智能 移动开发
AIGC图像分辨率太低?快来试试像素感知扩散超分模型,你想要的细节都在这里
阿里巴巴最新自研的像素感知扩散超分模型已经开源,它把扩散模型强大的生成能力和像素级控制能力相结合,能够适应从老照片修复到AIGC图像超分的各种图像增强任务和各种图像风格,并且能够控制生成强度和增强风格。这项技术的直接应用之一是AIGC图像的后处理增强和二次生成,能够带来可观的效果提升。
874 4
|
人工智能 编解码 移动开发
NeRF基于线稿生成逼真三维人脸,细节风格随意改,论文已上SIGGRAPH
NeRF基于线稿生成逼真三维人脸,细节风格随意改,论文已上SIGGRAPH
464 0
|
数据采集 人工智能 数据可视化
AI读脑炸裂!扫描大脑画面,Stable Diffusion逼真复现图像
AI读脑炸裂!扫描大脑画面,Stable Diffusion逼真复现图像
189 0
|
机器学习/深度学习 Web App开发 人工智能
AI读脑炸裂!扫描大脑画面,Stable Diffusion逼真复现图像(2)
AI读脑炸裂!扫描大脑画面,Stable Diffusion逼真复现图像
187 0
|
机器学习/深度学习 编解码 定位技术
风格迁移 图像合成 图像重构 更换姿态和图像背景(使用交叉注意控制进行提示到图像编辑)GAN网络增强版
风格迁移 图像合成 图像重构 更换姿态和图像背景(使用交叉注意控制进行提示到图像编辑)GAN网络增强版
|
机器学习/深度学习 编解码 算法
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
199 0
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
|
机器学习/深度学习 算法
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(二)
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(二)
171 0
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(二)

热门文章

最新文章