神经网络风格化过程的特征控制

《Controlling Perceptual Factors in Neural Style Transfer》

相当于在第一篇上的扩展，是一种对风格化方法的优化。

介绍

对神经元风格化方法的概括：分别从两张踢偏上提取风格和内容物来生成一个新的图片。“style”与“content”两个·1词都是对图像的某种特征的概括。

1. 不同的区域可能具有不同的风格：如天空和地面
2. 笔刷纹理和纯填充物对颜色有不同的影响
3. 不同结构的精细度不同

因此给出假设：图片的整体风格是位于包含不同的区域颜色光照信息和空间范围的风格的集合

通过在独立地控制不同空间区域风格的特征来改良神经元风格化并且减少失败。

相关工作

参数性神经元纹理模型相对基于补丁的模型允许较少的直觉控制？？

纹理参数可以影响风格化而它们的相互作用是相当复杂的，因此很难预测它们对风格化结果的影响。

主要目的是提供通过控制神经性风格化来融合这种策略和早期风格化方法的是更高精度的用户控制的优点。

神经性风格化

用相应的特征表达来定义内容图像和风格图像。

生成一个新图像具有内容图像的内容和风格图像的风格。

                Ltotal = αLcontent + βLstyle    

在早起工作中，我们使用VGG-19以及第四层卷积作为图像内容，使用所有风格层的关系矩阵作为数据来形成风格。

空间控制

我们的目标是人为选择某片特定区域的表现风格。

比如：将某个风格应用在天空区域，将另一种风格应用在地面区域。

既避免人工痕迹太明显又能够产生来自于不同源的新的混搭风。

区域的内容指引通道值要与其风格的风格指引通道值相同。

当存在多种不同的风格图片时，在所有的样板图像进行索引。

我们将每一层的风格特征图同R指引通道相乘，为每个区域求得一个空间指引矩阵。

每一个指引矩阵被当作内容图像相应区域的最有目标。

最重要的用处是指引通道可以背用来保证风格化仅发生在相似区域。

一个难点是：靠近边界的神经元总有大片的接触区域。

生成较好的结果但是却不能较好的捕捉纹理。

颜色控制

颜色信息是风格的重要组成部分，同时又极大程度上独立于其他元素。

颜色控制的一个重要案例是风格化过程中颜色的保持。

有两种有效的方法来保存原图像的颜色。

• 亮度转移法
• 颜色直方图匹配

亮度转移法

在这种策略中，我们只在亮度通道上进行风格化。

视觉感知对亮度的感知比对颜色的感知更加敏感。

使用颜色空间来区分亮度和颜色信息，内容图像的颜色信息同生成后的亮度信息一起用来输出最终的图像。

如果在内容图像和风格图像的亮度直方图中有大量不匹配的地方，那么这种方法容易得到很好的效果。

对亮度通道的平均值和方差进行处理。

                Ls′ =σC(LS−μS)+μC

颜色直方图匹配

这一种方法感觉比较简单。

直接改变风格图像的颜色从而使它与内容图像相匹配，即生成一个新的风格凸显作为输入。

在神经性风格化过程中工作的比较好。

也可以用来保存风格图像的颜色：如果两者间存在明显的不匹配但是又想保留风格图像的颜色分布。

两种方法比较

两种方法都能提供不错的结果但是存在不同的优缺点。

• 颜色匹配策略被颜色转移过程所限制。通常情况下颜色分布并不能被完美匹配，从而导致了输出图像与内容图像的颜色的不匹配。
• 相反的，亮度转移策略完美地保留了内容图像的颜色，然而亮度和颜色通道的依赖性丢失了。
  有明显笔刷纹理的风格的颜色会表现得很不自然。

层次控制

这一部分没看明白

生成融合了一个图像的高精度信息和另一个图形的粗糙信息的新风格图像。

我们用粗糙风格的图像来初始化最优过程并且完整地忽略一下内容缺失，所以来自粗糙风格凸显的纹理将会被充分替代。

现有的神经性风格化方法在并不能很好地产生高分辨率输出。

可接触范围在CNN网络中有着固定的大小，所以风格化的输出结果高度依赖于输入图像的分辨率。

可接触区域越大，风格化区域越大？？？

对高精度输入图像进行下降采样，生成了低精度输出图像，

然后对低精度输出结果进行上升采样，提升分辨率。

把最终生成的图像作为神经性风格化过程的初始量。

从粗糙到精细的过程具有额外的优点，即可以减少迭代次数，因此提升效率。

快速神经性风格化

神经性风格化的一个主要缺点是图像生成过程相对较慢。

• 保留输入图像的颜色的最简单的方法是使用现有的前向反馈风格化网络，将风格化的亮度通道和内容图像的颜色通道相结合。
  或者在风格图像的亮度通道和内容图像的亮度通道上分别训练前向反馈网络，将生成的亮度图像同输入的内容图像的颜色通道相结合。
  两种方法都需要我们将输出的平均亮度同内容图像相匹配。
  我们发现，基于亮度网络的颜色保留策略能够更好地将风格和内容图像的结构相结合。
  • John-son’s training procedure的小改动。

综述

我们假设图像风格包括了类似于空间、颜色、层次等多种元素并且提出了同这些元素有关的在风格化过程中能有效提升质量和灵活性等方法。

控制策略等一个应用是混合风格，这和用线性表达方法产生的混搭风格是不同的。

一个可能的问题是如果风格表达的某个方向和可察觉变量之间没有什么联系，那么生成新的风格就会比较困难。

An exciting open research question is to predict what combinations of styles will combine nicelyinto new, perceptually pleasing styles.

神经性风格化之所以吸引人，是因为它能在原有的图像基础上生成新的图像结构。