李宏毅机器学习笔记11（Unsurpervised Learning 03——Deep Generative model）

 

Unsurpervised Learning

1、深度生成模型“无中生有”

2、VAE（Variational auto-encoder）

　　一、什么是VAE、为什么用VAE

　　二、如何实现VAE

　　三、关于VAE思考

3、GAN（Generative  Adversarial Network）

 

Deep Generative model “无中生有”

1、深度生成模型“无中生有”

　　比如machine在影像处理上可以做到分类，可以辨识猫和狗的不同。但它并不真的了解猫什么，狗是什么。也许在未来有一天，machine它可以画出一只猫，它会猫这个概念或许就不一样了。

　　

2、VAE（Variational auto-encoder）

　　一、什么是VAE、为什么用VAE（VAE是解决什么问题）

　　变分自编码器 是一类重要的生成模型（generative model），它于2013年由Diederik P.Kingma和Max Welling提出1。2016年Carl Doersch写了一篇VAEs的tutorial2，对VAEs做了更详细的介绍，比文献1更易懂（墙裂推荐）。
　　VAE是什么：VAE也是一种前面所说的标准的自编码器，就是通过Encoder对输入（我们这里以图片为输入）进行高效编码，然后由Decoder使用编码还原出图片，在理想情况下，还原输出的图片应该与原图片极相近。

 

　　        

 

 

　　如果你的目标仅仅是重建你的输入，那么标准的自动编码器可以工作得很好，但是它不能作为一个生成模型工作，因为选择一个随机的输入。对于解码器来说，并不一定会导致解码器产生合理的图像。可能随机的输入离解码器以前看到的任何输入都很远，所以当给定输入时，解码器可能从未接受过产生合理数字图像的训练。

                                                                

 

　　为什么需要VAE：也就是说VAE为什么能确保解码器准备解码任何输入，我们给它一个合理的数字图像。

　　角度一：本质上（直观）是在标准自编码基础上加噪声

　　　　

　　　角度二：原理上是在潜在空间（Code）中产生概率分布

　　假设解码器已经知道其输入的概率分布，那么就能确保对于任何输入，解码器都能给它一个合理的数字图像

 

　　VAE网络结构组成：可以大致分成Encoder和Decoder两部分（如下图）。对于输入图片，Encoder将提取得到编码：一个mean vector和一个deviation vector，然后将这个编码（两个vector）作为Decoder的输入，最终输出一张和原图相近的图片。

 

　　

 

　　二、如何实现VAE

　　我们刚才说实现VAE需要知道解码器输入的概率分布，为此，我们需要：

　　一、预先定义解码器应该看到的输入的分布，我们将使用标准正态分布来定义解码器将接收到的输入的分布。

　　二、用一个编码器，在潜在空间中产生概率分布（训练参数）。

　　三、在潜在空间中随机抽样z，用作生成模型

　　四、还原输出的图片集中出现训练集中的原图的概率 P（x）越大，那么我们也可以认为输出与原图片越相似了

　　五、训练

 

 

　

                     

 

 

　　一、定义分布：结合上图，定义z是一个标准正态分布，x|z和z|x是一个特定均值方差的正态分布，那么输出x是一个高斯混合模型

 

　　

　　

　　二三、搭建神经网络模型，先忽略

　　四、求P（x）的最大似然估计，也就是定义模型的损失函数。

 　　

 

                 

 

                 

                 

　　　　结论1：只控制Lb就好了，上面的KL1是一个中间值，因为Lb越大，最大似然（最终目标）不一定越大（因为KL1会对其有影响），所以要先控制KL1这个中间值接近0

 

　　　　

　　　　

　　　　只调整q，不调p，是为了保持logP（x）不变。把上面的KL1逼近0以后，下面只需要考虑Lb就好了

 

　　　　

 

　　　　结论2：最终我们是想通过调大Lb，来使最大似然概率最大，那么Lb有两项组成，我们希望最小化与z分布的KL值，同时最大化后面与P（x|z）有关的项

 

　　　　                      

 

 

 

 　　五、训练

 

　　　训练过程：先调q（z|x）--encoder，后调p（x|z）--decoder

 　　

　　

　　 https://blog.csdn.net/cjh_jinduoxia/article/details/84995156

　　　　

　　　三、关于VAE的思考

　　　　1、关于VAE的本质

 

　　　　

　　　　2、CVAE（Conditional VAE）

　　　　

　　　　

　　　　https://www.sohu.com/a/226209674_500659

 

　　3、GAN（Generative  Adversarial Network）

　　　　一、什么是GAN　　　

• GAN的核心思想在于博弈，GAN有两部分模型构成，一个是生成模型（G），一个是判别模型（D）。

• 生成模型用于生成一个逼真的样本，判别模型用于判断模型的输入是真是假。

• 通俗来讲，就是生成模型要不断提升自己的造假本领，最终达到骗过判别模型的目的。而判别模型则不断提升自己的判别能力，达到辨别真假的目的，这也就形成了博弈，也就是对抗。

　　

　

　　二、GAN是如何实现的

　　单独交替迭代训练

　　1.首先，我们有一个简单的生成网络模型（当然未训练时效果很差），那么我们给这个模型一个随机的输入，便会输出得到一个假的样本集，而真的样本集我们本身就有，所以我们得到了真假数据集。

　　2.在得到真假数据集之后，我们开始对判别模型进行训练，训练过程就是一个有监督的二分类问题，即给定一个样本，能判断出其是真实存在的（真样本），还是利用生成网络生成的（假样本）。

　　

 

　　3.在完成判定模型的训练之后，我们要提升生成模型的造假能力，我们将生成网络与训练好的判定网络串接，我们的目标是生成可以迷惑判定模型的图像，所以我们给生成网络一个随机输入，损失函数是判定网络的输出是否为真（是否达到迷惑的效果），根据损失函数，对生成网络的参数进行更新，（注意：这里判定网络的参数是不改变的，因为判定网络是用来评价生成网络的造假能力，计算损失的）

　　

 

　　4.完成生成网络的训练之后，再次给定随机输入，得到新的假的数据集，将最新得到真假样本输入给判定网络进行训练，从而完成对判定网络的再一次训练。

　　5.不断重复上述过程，直到满足设计者设定的训练次数。

 

  分类: 小张机器学习基础 好文要顶 关注我 收藏该文   Listener_02
关注 - 0
粉丝 - 3     +加关注 0 0       « 上一篇： 李宏毅机器学习笔记09（Unsupervised Learning 01——Clustering and PCA）
» 下一篇： 李宏毅机器学习笔记10（Unsurpervised Learning02——Neighbor Embedding）

标签：11,03,训练,李宏毅,模型,VAE,解码器,生成,输入
来源： https://www.cnblogs.com/cx2016/p/13863767.html