开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

DeOldify,这个开源的AI代码可以给你的黑白照片上色

DeOldify,这个开源的AI代码可以给你的黑白照片上色

DeOldify是一种技术,以彩色和恢复旧的黑白图像,甚至电影片段。它是由一个叫Jason Antic的人开发和更新的。这是目前最先进的黑白图像着色方法,而且所有的东西都是开源的。

首先,让我们看看他是如何做到的。它使用了一种名为NoGAN的新型GAN训练方法,该方法是他自己开发的,用来解决在使用由一个鉴别器和一个生成器组成的正常对抗性网络架构进行训练时出现的主要问题。典型地,GAN训练同时训练鉴别器和生成器,生成器一开始是完全随机的,随着时间的推移,它会欺骗鉴别器,鉴别器试图辨别出图像是生成的还是真实的。

image

他的新方法(他称之为“NoGan”)提供了与通常的GAN训练相同的好处,同时花费更少的时间来训练GAN架构(通常计算时间相当长)。相反,他对生成器进行了预先训练,使其利用常规损失函数,变得更强大、更快、更可靠。

image

image

这是通过训练生成器像一个常规的深度网络的架构,如ResNet来完成的。这样,在训练完整的GAN架构之前,模型已经很擅长为图像着色了。然后,只需要少量的这种典型的生成器-识别器GAN训练,以优化生成的图片的“真实性”。

在训练过程中,将高斯噪声随机应用于图像,产生伪噪声。

image

高斯噪声是一个数据增广的方式,可以进行训练图像改善结果和抗噪声输入,使用相同的技术风格传输,图像的噪声将样式我们想复制并可以应用或多或少的转换。

image

整个架构在U-Net上使用一个基本的ResNet主干。其中GAN训练中的生成器网络为U-Net体系结构。目前,还没有完整的解释这是如何工作的,但是作者目前正在写一篇关于DeOldify的论文,在那里他将进一步说明为什么和如何使用他的技术。

image

展开
收起
游客tqsxlcu6ie37g 2023-04-14 16:00:44 387 0
0 条回答
写回答
取消 提交回答

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
释放算力潜能,加速 AI 应用构建 立即下载
网易游戏机器学习云平台助力AI应用落地实践 立即下载
智算时代,基于 ACK 落地云原生AI 立即下载