无监督学习

无监督学习的数据点没有标签。无监督学习是为了以某种方式组织数据，找出数据中存在的内在结构。包括对数据进行聚类或者找到简单的方式处理复杂数据。 无监督学习的目标一般是最大似然，也就是学到的模型应该使得真实数据出现的可能性最大，这个目标也等价于最小化KL散度。但是这个目标在处理高维问题时带来一个问题：真实分布和生成分布的支撑集不重叠或者重叠部分可忽略，那么KL散度不再有意义。

所以很多方法都会向模型加入噪声以使最大化似然有效。

而变分自动编码器VAE和生成对抗网络GAN都是定义服从某固定分布的随机变量Z$Z$，然后定义函数gθ:Z→X$g_/theta:{/cal Z}/rightarrow{/cal X}$直接按分布Pθ$P_/theta$生成样本。通过改变θ$/theta$可以使分布接近真实分布。