深度学习教程 | CNN应用:人脸识别和神经风格转换

简介: 本节介绍计算机视觉中其他应用,包括:人脸识别、Siamese网络、三元组损失Triplet loss、人脸验证、CNN表征、神经网络风格迁移、1D与3D卷积。

ShowMeAI研究中心

作者:韩信子@ShowMeAI
教程地址http://www.showmeai.tech/tutorials/35
本文地址http://www.showmeai.tech/article-detail/224
声明:版权所有,转载请联系平台与作者并注明出处
收藏ShowMeAI查看更多精彩内容


第4门课 卷积神经网络,第4周:特殊应用:人脸识别和神经风格转换
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。


引言

ShowMeAI前一篇文章 CNN应用:目标检测 中我们对以下内容进行了介绍:

  • 目标定位
  • 特征点检测
  • 目标检测
  • 边框预测
  • 非极大值抑制
  • YOLO
  • RCNN

本篇主要介绍计算机视觉中其他应用,包括人脸识别和神经风格迁移。

CNN的应用

1.人脸识别

什么是人脸识别? What is Face Recognition?

我们本节要介绍到人脸的一些计算机视觉应用,首先我们对人脸验证(Face Verification)和人脸识别(Face Recognition)做一个区分:

  • 人脸验证:一般指一个一对一问题,只需要验证输入的人脸图像是否与某个已知的身份信息对应。
  • 人脸识别:一个更为复杂的一对多问题,需要验证输入的人脸图像是否与多个已知身份信息中的某一个匹配。

上面2个任务中,一般人脸识别比人脸验证更难一些。因为假设人脸验证系统的错误率是1%,那么在人脸识别中,输出分别与 equation?tex=K 个模板都进行比较,则相应的错误率就会增加,约 equation?tex=K%20%5C%25。模板个数越多,错误率越大。

1.1 One-Shot 学习

One-shot学习 One-shot Learning

人脸识别所面临的一个挑战是要求系统只采集某人的一个面部样本,就能快速准确地识别出这个人,即只用一个训练样本来获得准确的预测结果。这被称为One-Shot学习

One-shot learning对于数据库中的 equation?tex=N 个人,对于每张输入图像,Softmax输出 equation?tex=N%2B1 种标签(equation?tex=N 个人 + 都不是 = equation?tex=N+1 种类别),这种处理方法有两个缺点:

  • 每个人只有一张图片,训练样本少,构建的 CNN 网络不够健壮。
  • 若数据库增加另一个人,输出层 Softmax 的维度就要发生变化,相当于要重新构建 CNN 网络,使模型计算量大大增加,不够灵活。


为了解决One-shot学习的问题,引入了相似函数(similarity function)。相似函数表示两张图片的相似程度,用 equation?tex=d%28img1%2Cimg2%29 来表示。

  • equation?tex=d%28img1%2Cimg2%29 较小,则表示两张图片相似,是同一个人
  • equation?tex=d%28img1%2Cimg2%29 较大,则表示两张图片不是同一个人

人脸识别

相似函数定义及判定规则如下

equation?tex=Similarity%20%3D%20d%28img1%2C%20img2%29

  • equation?tex=d%28img1%2Cimg2%29%5Cleq%20%5Ctau 则判定图片相似
  • equation?tex=d%28img1%2Cimg2%29%3E%20%5Ctau 则判定图片不同

具体的,在人脸识别问题中,会计算测试图片与数据库中 equation?tex=K 个目标的相似函数,取其中 equation?tex=d%28img1%2Cimg2%29 最小的目标为匹配对象。若所有的 equation?tex=d%28img1%2Cimg2%29 都很大,则表示数据库没有这个人。

1.2 Siamese 网络

Siamese 网络 Siamese network

我们在前面的内容里,看到CNN对于图像有很好的表征能力,训练好的模型可以通过网络层次计算对图像做非常有效的向量化表征,基于此基础我们可以构建图像相似度度量学习的网络,这就是著名的Siamese 网络,它是一种对两个不同输入运行相同的卷积网络,然后对它们的结果进行比较的神经网络。

Siamese网络的大致结构如下

人脸识别

上图中2张图片 equation?tex=x%5E%7B%281%29%7Dequation?tex=x%5E%7B%282%29%7D 分别输入两个相同的卷积网络中,经过全连接层后不再进行Softmax,而是得到特征向量 equation?tex=f%28x%5E%7B%281%29%7D%29equation?tex=f%28x%5E%7B%282%29%7D%29

这时,可以通过各自网络层的输出向量之差的范数来表示两幅图片的差异度:

equation?tex=d%28x%5E%7B%281%29%7D%2C%20x%5E%7B%282%29%7D%29%20%3D%20%7C%7Cf%28x%5E%7B%281%29%7D%29%20-%20f%28x%5E%7B%282%29%7D%29%7C%7C%5E2_2


注意到,在 Siamese 网络中,不同图片使用的是同一套 CNN 网络结构和参数。我们会训练网络,不断调整网络参数,使得属于同一人的图片之间 equation?tex=d%28x%5E%7B%281%29%7D%2Cx%5E%7B%282%29%7D%29 很小,而不同人的图片之间 equation?tex=d%28x%5E%7B%281%29%7D%2Cx%5E%7B%282%29%7D%29 很大。最终:

  • equation?tex=x%5E%7B%28i%29%7Dequation?tex=x%5E%7B%28j%29%7D 是同一个人,则 equation?tex=%7C%7Cf%28x%5E%7B%281%29%7D%29-f%28x%5E%7B%282%29%7D%29%7C%7C%5E2 较小
  • equation?tex=x%5E%7B%28i%29%7Dequation?tex=x%5E%7B%28j%29%7D 不是同一个人,则 equation?tex=%7C%7Cf%28x%5E%7B%281%29%7D%29-f%28x%5E%7B%282%29%7D%29%7C%7C%5E2 较大
相关论文: Taigman et al., 2014, DeepFace closing the gap to human level performance

1.3 Triplet 损失

Triplet 损失

回到人脸识别的任务,要构建出合适的CNN模型,我们需要引入Triplet Loss这个损失函数。

Triplet Loss需要每个样本包含三张图片:靶目标(Anchor)、正例(Positive)、反例(Negative),所以它也译作「三元组损失」。

人脸识别

如图所示,靶目标和正例是同一人,靶目标和反例不是同一人。Anchor和Positive组成一类样本,Anchor和Negative组成另外一类样本。

我们希望前面提到的Siamese网络中的CNN输出图像表征 equation?tex=f%28A%29 接近 equation?tex=f%28D%29,即 equation?tex=%7C%7Cf%28A%29-f%28D%29%7C%7C%5E2 尽可能小,而 equation?tex=%7C%7Cf%28A%29-f%28N%29%7C%7C%5E2 尽可能大,数学上满足:

equation?tex=%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2%5Cleq%20%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2

equation?tex=%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2-%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2%5Cleq%200


上述不等式约束有个问题:如果所有的图片都是零向量,即 equation?tex=f%28A%29%3D0%2Cf%28P%29%3D0%2Cf%28N%29%3D0 ,那么上述不等式也满足。但是这对我们进行人脸识别没有任何作用。

我们希望得到 equation?tex=%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2 远小于 equation?tex=%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2 。所以,我们添加一个超参数 equation?tex=%5Calpha ,且 equation?tex=%5Calpha%3E0 ,对不等式约束修改如下:

equation?tex=%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2-%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2%5Cleq%20-%5Calpha

equation?tex=%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2-%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2%2B%5Calpha%20%5Cleq%200


不等式中的 equation?tex=%5Calpha 也被称为边界 margin,和支持向量机中的 margin 类似(详细算法可以参考ShowMeAI文章 SVM模型详解)。举个例子,若 equation?tex=d%28A%2CP%29%3D0.5equation?tex=%5Calpha%3D0.2,则 equation?tex=d%28A%2CN%29%5Cgeq0.7


接下来,基于A,P,N三张图片,就可以定义Loss function为:

equation?tex=L%28A%2CP%2CN%29%3Dmax%28%7C%7Cf%28A%29-f%28P%29%7C%7C%5E2-%7C%7Cf%28A%29-F%28N%29%7C%7C%5E2%2B%5Calpha%2C%5C%200%29

那么对于 equation?tex=m 组训练样本的数据集,我们的 cost function 为:

equation?tex=J%3D%5Csum_%7Bi%3D1%7D%5EmL%28A%5E%7B%28i%29%7D%2CP%5E%7B%28i%29%7D%2CN%5E%7B%28i%29%7D%29

关于训练样本,必须保证同一人包含多张照片,否则无法使用这种方法。例如 equation?tex=10k 张照片包含 equation?tex=1k 个不同的人脸,则平均一个人包含 equation?tex=10 张照片。这个训练样本是满足要求的。

数据准备完毕之后,就可以使用梯度下降算法,不断训练优化 CNN 网络参数,让我们数据集上的 cost function不 断减小接近 equation?tex=0


一些训练细节

同一组训练样本,A,P,N的选择尽可能不要使用随机选取方法

  • 因为随机选择的A与P一般比较接近,A与N相差也较大,毕竟是两个不同人脸。
  • 这样的话,也许模型不需要经过复杂训练就能实现这种明显识别,但是抓不住关键区别。

最好的做法是人为选择A与P相差较大(例如换发型,留胡须等),A与N相差较小(例如发型一致,肤色一致等)

  • 这种人为地增加难度和混淆度会让模型本身去寻找学习不同人脸之间关键的差异,「尽力」让 equation?tex=d%28A%2CP%29 更小,让 equation?tex=d%28A%2CN%29 更大,即让模型性能更好。


如下为一些A、P、N的例子:

人脸识别

相关论文: Schroff et al., 2015, FaceNet: A unified embedding for face recognition and clustering

1.4 人脸验证与二分类模式

面部验证与二分类 Face Verification and Binary Classification

除了Triplet损失函数,二分类结构也可用于学习参数以解决人脸识别问题。其做法是输入一对图片,将两个Siamese网络产生的特征向量输入至同一个Sigmoid单元,输出1则表示是识别为同一人,输出0则表示识别为不同的人。

人脸识别

在上述网络中,每个训练样本包含两张图片。通过Siamese网络把人脸识别问题转化成了一个二分类问题。引入逻辑输出层参数 equation?tex=wequation?tex=b ,输出 equation?tex=%5Chat%20y 表达式为:

equation?tex=%5Chat%20y%3D%5Csigma%28%5Csum_%7Bk%3D1%7D%5EKw_k%7Cf%28x%5E%7B%28i%29%7D%29_k-f%28x%5E%7B%28j%29%7D%29_k%7C%2Bb%29

其中参数 equation?tex=w_kequation?tex=b 都是通过梯度下降算法迭代训练得到。


equation?tex=%5Chat%20y 的另外一种表达式为:

equation?tex=%5Chat%20y%3D%5Csigma%28%5Csum_%7Bk%3D1%7D%5EKw_k%5Cfrac%7B%28f%28x%5E%7B%28i%29%7D%29_k-f%28x%5E%7B%28j%29%7D%29_k%29%5E2%7D%7Bf%28x%5E%7B%28i%29%7D%29_k%2Bf%28x%5E%7B%28j%29%7D%29_k%7D%2Bb%29

上式被称为 equation?tex=%5Cchi 方公式,也叫 equation?tex=%5Cchi方相似度


训练好上述模型后,进行人脸识别的常规方法是测试图片与模板分别进行网络计算,编码层输出比较,计算二分类概率结果。

为了减少计算量,可以提前进行预计算:提前将数据库每个模板的编码层输出 equation?tex=f%28x%29 保存下来。这个过程可以并行,而且因为是离线过程,对于时效性要求并没有那么高。

实际测试预估时,库内的人脸编码都已计算好,只需要计算测试图片的网络输出,得到的 equation?tex=f%28x%5E%7B%28i%29%7D%29 直接与存储的模板 equation?tex=f%28x%5E%7B%28j%29%7D%29 进行下一步的计算即可,总计算时间减小了接近一半。

这种方法也可以应用在之前提到的triplet loss网络中。

2.神经风格迁移

什么是神经风格转换? What is Neural Style Transfer?

神经风格迁移(Neural style transfer)将参考风格图像的风格「迁移」到另外一张内容图像中,生成具有其特色的图像。如下是几个神经风格迁移的例子:

神经风格迁移

后续的方法介绍和推导中:我们会用 equation?tex=C 表示内容图片, equation?tex=S 表示风格图片, equation?tex=G 表示生成的图片。

2.1 深度卷积网络学到了什么

什么是深度卷积网络? What Are Deep Convnets Learning?

想要理解如何实现神经风格转换,首先要理解在输入图像数据后,一个深度卷积网络从中都学到了些什么。我们借助可视化来做到这一点。


典型的CNN网络结构如下

神经风格迁移

我们从第1个隐层开始可视化解释,我们遍历所有训练样本,找出让该层激活函数输出最大的9块图像区域;然后再找出该层的其它单元(不同的滤波器通道)激活函数输出最大的9块图像区域;最后共找 equation?tex=9 次,得到 equation?tex=9%20%5Ctimes%209 的图像如下所示,其中每个 equation?tex=3%20%5Ctimes%203 区域表示一个运算单元。

神经风格迁移

上图表明,第1层隐层检测的是原始图像的边缘颜色阴影等简单信息。用同样的方法去操作CNN的后续隐层,随着层数的增加,捕捉的区域更大,特征逐步变得复杂,从边缘到纹理再到具体物体

神经风格迁移

相关论文: Zeiler and Fergus., 2013, Visualizing and understanding convolutional networks

2.2 代价函数

代价函数 Cost Function

神经风格迁移生成图片G的代价函数由两部分组成: equation?tex=Cequation?tex=G 的内容相似程度和 equation?tex=Sequation?tex=G 的风格相似程度。其中, equation?tex=%5Calphaequation?tex=%5Cbeta 是超参数,用来调整相对比重。

神经风格迁移


神经风格迁移的算法步骤如下所示:

神经风格迁移

  • 随机生成图片 equation?tex=G 的所有像素点。
  • 使用梯度下降算法使代价函数最小化,以不断修正 equation?tex=G 的所有像素点,使G逐渐有C的内容和G的风格。
相关论文: Gatys al., 2015. A neural algorithm of artistic style

(1) 内容代价函数

内容代价函数 Content Cost Function

上述代价函数包含一个内容代价部分和风格代价部分。我们先看内容代价函数 equation?tex=J_%7Bcontent%7D%28C%2C%20G%29 ,它表示图片 equation?tex=C 和图片 equation?tex=G 之间的内容相似度。我们一般基于一个中间层 equation?tex=l 层的激活函数输出 equation?tex=a%5E%7B%28C%29%5Bl%5D%7Dequation?tex=a%5E%7B%28G%29%5Bl%5D%7D 来衡量 equation?tex=Cequation?tex=G 之间的内容相似度。


具体的 equation?tex=J_%7Bcontent%7D%28C%2C%20G%29 计算过程如下:

  • 使用一个预训练好的CNN(例如VGG);
  • 选择一个隐藏层 equation?tex=l 来计算内容代价。 equation?tex=l 太小则内容图片和生成图片像素级别相似, equation?tex=l 太大则可能只有具体物体级别的相似。因此, equation?tex=l 一般选一个中间层;
  • equation?tex=a%5E%7B%28C%29%5Bl%5D%7Dequation?tex=a%5E%7B%28G%29%5Bl%5D%7Dequation?tex=Cequation?tex=Gequation?tex=l 层的激活,则有:

equation?tex=J_%7Bcontent%7D%28C%2C%20G%29%20%3D%20%5Cfrac%7B1%7D%7B2%7D%7C%7C%28a%5E%7B%28C%29%5Bl%5D%7D%20-%20a%5E%7B%28G%29%5Bl%5D%7D%29%7C%7C%5E2

equation?tex=a%5E%7B%28C%29%5Bl%5D%7Dequation?tex=a%5E%7B%28G%29%5Bl%5D%7D 越相似,则 equation?tex=J_%7Bcontent%7D%28C%2C%20G%29 越小。

(2) 风格代价函数

风格代价函数 Style Cost Function

接下来我们要讨论风格代价函数,在CNN网络模型中,图片的风格可以定义成第l层隐藏层不同通道间激活函数的乘积(相关性)。

神经风格迁移

每个通道提取图片的特征不同,如下图:

神经风格迁移

  • 标为黄色的通道提取的是图片的垂直纹理特征,标为蓝色的通道提取的是图片的背景特征(橙色)。
  • 计算这两个通道的相关性,相关性的大小,即表示原始图片既包含了垂直纹理也包含了该橙色背景的可能性大小。
  • 通过CNN,「风格」被定义为同一个隐藏层不同通道之间激活值的相关系数,因其反映了原始图片特征间的相互关系。


对于风格图像 equation?tex=S ,选定网络中的第 equation?tex=l 层,我们定义图片的风格矩阵(style matrix)为:

equation?tex=G%5E%7B%5Bl%5D%28S%29%7D_%7Bkk%5Cprime%7D%20%3D%20%5Csum%5E%7Bn%5E%7B%5Bl%5D%7D_H%7D_%7Bi%3D1%7D%20%5Csum%5E%7Bn%5E%7B%5Bl%5D%7D_W%7D_%7Bj%3D1%7D%20a%5E%7B%5Bl%5D%28S%29%7D_%7Bijk%7D%20a%5E%7B%5Bl%5D%28S%29%7D_%7Bijk%5Cprime%7D

其中, equation?tex=iequation?tex=j 为第 equation?tex=l 层的高度和宽度; equation?tex=kequation?tex=k%5Cprime 为选定的通道,其范围为 equation?tex=1equation?tex=n_C%5E%7B%5Bl%5D%7Dequation?tex=a%5E%7B%5Bl%5D%28S%29%7D_%7Bijk%7D 为激活。


同理,对于生成图像 equation?tex=G ,有:

equation?tex=G%5E%7B%5Bl%5D%28G%29%7D_%7Bkk%5Cprime%7D%20%3D%20%5Csum%5E%7Bn%5E%7B%5Bl%5D%7D_H%7D_%7Bi%3D1%7D%20%5Csum%5E%7Bn%5E%7B%5Bl%5D%7D_W%7D_%7Bj%3D1%7D%20a%5E%7B%5Bl%5D%28G%29%7D_%7Bijk%7D%20a%5E%7B%5Bl%5D%28G%29%7D_%7Bijk%5Cprime%7D


因此,第 equation?tex=l 层的风格代价函数为:

equation?tex=J%5E%7B%5Bl%5D%7D_%7Bstyle%7D%28S%2C%20G%29%20%3D%20%5Cfrac%7B1%7D%7B%282n%5E%7B%5Bl%5D%7D_Hn%5E%7B%5Bl%5D%7D_Wn%5E%7B%5Bl%5D%7D_C%29%5E2%7D%20%5Csum_k%20%5Csum_%7Bk%5Cprime%7D%28G%5E%7B%5Bl%5D%28S%29%7D_%7Bkk%5Cprime%7D%20-%20G%5E%7B%5Bl%5D%28G%29%7D_%7Bkk%5Cprime%7D%29%5E2


上面我们只计算了一层隐层l的代价函数。使用多隐层可以表征的风格更全面,我们对其叠加,最终表达式为:

equation?tex=J_%7Bstyle%7D%28S%2C%20G%29%20%3D%20%5Csum_l%20%5Clambda%5E%7B%5Bl%5D%7D%20J%5E%7B%5Bl%5D%7D_%7Bstyle%7D%28S%2C%20G%29

公式中, equation?tex=%5Clambda 是用于设置不同层所占权重的超参数。

2.3 推广至一维和三维

一维到三维推广 1D and 3D Generalizations of Models

前面我们处理的都是二维图片,举例来说:

神经风格迁移

  • 输入图片维度equation?tex=14%20%5Ctimes%2014%20%5Ctimes%203
  • 滤波器尺寸equation?tex=5%20%5Ctimes%205%20%5Ctimes%203 ,滤波器个数: equation?tex=16
  • 输出图片维度equation?tex=10%20%5Ctimes%2010%20%5Ctimes%2016

实际上卷积也可以延伸到一维和三维数据。我们来举例说明:

(1) 一维卷积(1D Conv)

EKG数据(心电图)是由时间序列对应的每个瞬间的电压组成,是一维数据。如果用卷积处理,有如下结果:

神经风格迁移

  • 输入时间序列维度equation?tex=14%20%5Ctimes%201
  • 滤波器尺寸equation?tex=5%20%5Ctimes%201 ,滤波器个数: equation?tex=16
  • 输出时间序列维度equation?tex=10%20%5Ctimes%2016

(2) 三维卷积(3D Conv)

而对于三维图片的示例,对应的3D卷积有如下结果:

神经风格迁移

  • 输入3D图片维度equation?tex=14%20%5Ctimes%2014%20%5Ctimes%2014%20%5Ctimes%201
  • 滤波器尺寸equation?tex=5%20%5Ctimes%205%20%5Ctimes%205%20%5Ctimes%201 ,滤波器个数: equation?tex=16
  • 输出3D图片维度equation?tex=10%20%5Ctimes%2010%20%5Ctimes%2010%20%5Ctimes%2016

参考资料

ShowMeAI系列教程推荐

推荐文章

ShowMeAI用知识加速每一次技术成长

目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 PyTorch
图像分类保姆级教程-深度学习入门教程(附全部代码)
图像分类保姆级教程-深度学习入门教程(附全部代码)
43 1
|
2月前
|
机器学习/深度学习 固态存储 安全
表情识别-情感分析-人脸识别(代码+教程)
表情识别-情感分析-人脸识别(代码+教程)
66 3
|
2月前
|
机器学习/深度学习 监控 算法
m基于深度学习网络的活体人脸和视频人脸识别系统matlab仿真,带GUI界面
m基于深度学习网络的活体人脸和视频人脸识别系统matlab仿真,带GUI界面
35 0
|
3月前
|
机器学习/深度学习 数据采集 人工智能
基于深度学习的活体人脸识别检测算法matlab仿真
基于深度学习的活体人脸识别检测算法matlab仿真
|
3月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
基于深度学习的图像分类:使用卷积神经网络实现猫狗分类器
基于深度学习的图像分类:使用卷积神经网络实现猫狗分类器
52 0
|
2月前
|
机器学习/深度学习 测试技术 Ruby
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
120 2
|
1月前
|
机器学习/深度学习 算法
基于CNN+LSTM深度学习网络的时间序列预测matlab仿真
基于CNN+LSTM深度学习网络的时间序列预测matlab仿真
|
2月前
|
机器学习/深度学习 JSON 自然语言处理
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
45 0
|
2月前
|
机器学习/深度学习 自然语言处理 大数据
深度学习中的卷积神经网络优化技术探析
【2月更文挑战第4天】在深度学习领域,卷积神经网络(CNN)一直扮演着重要角色,但其训练和推理过程中存在许多挑战。本文将从优化角度出发,探讨卷积神经网络中的权重初始化、损失函数设计、学习率调整等优化技术,旨在为深度学习爱好者提供一些实用的技术感悟和分享。
21 3
|
2月前
|
机器学习/深度学习 算法 TensorFlow
基于 Python中的深度学习:神经网络与卷积神经网络
基于 Python中的深度学习:神经网络与卷积神经网络