前言
对于图像分类模型,可以简单划分成两个部分,特征提取+特征分类。
1.其中特征提取主要由卷积层实现,浅层的卷积层往往只能提取一些点和线,深层的卷积层能够获得更多特征,如部分物体等。
2.分类主要由全连接层实现,该层将卷积层提取到的特征转换成概率进行输出。
为什么说这个呢,因为图像风格迁移是输入特征,得到具有这种特征的图像。恰好和图像分类相反。所以,实现图像风格迁移其实就是利用卷积层的中间特征还原出具有该特征的图像。
论述
A.风格损失
1.图像风格的表示:图像卷积层特征的Gram矩阵。
举个栗子:假设某个卷积层L输出的特征是101032,即长宽10,通道32的张量,用F1表示第一个通道的特征,F32表示第32个通道的特征。如图:
2.损失函数:
A图片:风格图片。
G图片:需要得到A风格的图片。
a.我们首先得到A图片的Gram矩阵。
b.得到G图片的Gram矩阵。
公式如上图所示:
4NM是一个归一化项,为了防止数量级差距过大,主要目的就是让差越变越小,一般情况下,我们采取的是多层卷积结果进行还原,所以这个时候需要在公式前面加一个权重。
B.内容损失。
根据原始图像和采用卷积特征生成的图像之间内容的差异进行计算损失值。
C=A+B
P为原始的内容图像,A为原始的风格图像,X为需要生成的图像。希望X具有P内容的同时,具有A的风格。阿尔法和β是超参数,用来调整图像内容和风格的占比。