图像风格迁移

简介: 图像风格迁移

前言


对于图像分类模型,可以简单划分成两个部分,特征提取+特征分类。


1.其中特征提取主要由卷积层实现,浅层的卷积层往往只能提取一些点和线,深层的卷积层能够获得更多特征,如部分物体等。


2.分类主要全连接层实现,该层将卷积层提取到的特征转换成概率进行输出。

为什么说这个呢,因为图像风格迁移是输入特征,得到具有这种特征的图像。恰好和图像分类相反。所以,实现图像风格迁移其实就是利用卷积层的中间特征还原出具有该特征的图像。


论述


A.风格损失


1.图像风格的表示:图像卷积层特征的Gram矩阵。


举个栗子:假设某个卷积层L输出的特征是101032,即长宽10,通道32的张量,用F1表示第一个通道的特征,F32表示第32个通道的特征。如图:

1.png

2.损失函数:


A图片:风格图片。


G图片:需要得到A风格的图片。


a.我们首先得到A图片的Gram矩阵。


b.得到G图片的Gram矩阵。

2.png

公式如上图所示:


4NM是一个归一化项,为了防止数量级差距过大,主要目的就是让差越变越小,一般情况下,我们采取的是多层卷积结果进行还原,所以这个时候需要在公式前面加一个权重。


B.内容损失。


根据原始图像和采用卷积特征生成的图像之间内容的差异进行计算损失值。

3.png

C=A+B


P为原始的内容图像,A为原始的风格图像,X为需要生成的图像。希望X具有P内容的同时,具有A的风格。阿尔法和β是超参数,用来调整图像内容和风格的占比。

4.png


目录
相关文章
|
机器学习/深度学习 TensorFlow 算法框架/工具
深度学习中的图像风格迁移
【9月更文挑战第26天】本文将探讨如何利用深度学习技术,实现图像风格的转换。我们将从基础的理论出发,然后逐步深入到具体的实现过程,最后通过代码实例来展示这一技术的实际应用。无论你是初学者还是有经验的开发者,都能在这篇文章中找到有价值的信息。让我们一起探索深度学习的奥秘吧!
|
人工智能 搜索推荐 物联网
InstantID:一张照片,无需训练,秒级个人写真生成
InstantID 是由InstantX项目组推出的一种SOTA的tuning-free方法,只需单个图像即可实现 ID 保留生成,并支持各种下游任务。
|
数据安全/隐私保护 网络架构
CentOS8 Kibana8.x 安装遇到的问题解决
CentOS8 Kibana8.x 安装遇到的问题解决
706 0
CentOS8 Kibana8.x 安装遇到的问题解决
|
11月前
|
算法 物联网 开发者
In-Context LoRA实现高效多任务图像生成,开启视觉创作新篇章
这篇文章介绍了通义实验室提出的In-Context LoRA,这是一种基于现有文本到图像模型的任务无关性框架,用于实现高质量的多任务图像生成。
1585 11
In-Context LoRA实现高效多任务图像生成,开启视觉创作新篇章
轻松玩转人物风格迁移!DualStyleGAN让你一键生成各种风格人物图片!【一个有趣的开源项目】
轻松玩转人物风格迁移!DualStyleGAN让你一键生成各种风格人物图片!【一个有趣的开源项目】
|
人工智能 自然语言处理 数据挖掘
利用小蜜蜂AI智能问答ChatGPT+AI高清绘图生成图文故事案例
利用小蜜蜂AI智能问答ChatGPT+AI高清绘图生成图文故事案例
207 2
|
Java Android开发 Windows
使用keytool查看Android APK签名
本文介绍了如何使用Windows命令行工具和keytool查看APK的签名信息,并提供了使用AOSP环境中的signapk.jar工具对APK进行系统签名的方法。
1454 0
使用keytool查看Android APK签名
|
机器学习/深度学习 算法 计算机视觉
完全让ChatGPT写一个风格迁移的例子,不改动任何代码
完全让ChatGPT写一个风格迁移的例子,不改动任何代码
180 1
|
缓存 监控 Java
如何优化Spring Boot应用性能?
【7月更文挑战第16天】如何优化Spring Boot应用性能?
308 2
|
人工智能 搜索推荐 物联网
被鹅厂最新开源AI绘画工具PhotoMaker圈粉了,多风格头像生成器就靠它了!
被鹅厂最新开源AI绘画工具PhotoMaker圈粉了,多风格头像生成器就靠它了!
567 1