天池龙珠计划深度学习训练营学习笔记
生成式模型与判别式模型
1. 判别式模型
判别式模型,即 Discriminative Model,又被称为条件概率模型,它估计的是条件概率分布(conditional distribution), p(class|context) 。
2. 生成式模型
即 Generative Model ,生成式模型 ,它估计的是联合概率分布(joint probability distribution),p(class,context)=p(class|context)*p(context)
3. 常见模型
常见的判别式模型有 Logistic Regression,Linear Regression,SVM,Traditional Neural Networks Nearest Neighbor,CRF 等。
常见的生成式模型有 Naive Bayes,Mixtures of Gaussians, HMMs,Markov Random Fields 等。
4. 判别式模型与生成式模型比较
判别式模型 ,优点是分类边界灵活 ,学习简单,性能较好 ;缺点是不能得到概率分布 。
生成式模型 ,优点是收敛速度快,可学习分布,可应对隐变量 ;缺点是学习复杂 ,分类性能较差。
GAN的基本原理
GAN的原理很简单,它包括两个网络,一个生成网络,不断生成数据分布。一个判别网络,判断生成的数据是否为真实数据。上图是原理展示,黑色虚线是真实分布,绿色实线是生成模型的学习过程,蓝色虚线是判别模型的学习过程,两者相互对抗,共同学习到最优状态。
GAN的主要问题
GAN从本质上来说,有与CNN不同的特点,因为GAN的训练是依次迭代D和G,如果判别器D学的不好,生成器G得不到正确反馈,就无法稳定学习。如果判别器D学的太好,整个loss迅速下降,G就无法继续学习。
GAN的优化需要生成器和判别器达到纳什均衡,但是因为判别器D和生成器G是分别训练的,纳什平衡并不一定能达到,这是早期GAN难以训练的主要原因。另外,最初的损失函数也不是最优的,这些就留待我们的下篇再细讲吧,下面欣赏一下GAN的一些精彩的应用。