Auto-Encoding Variational Bayes
Abstract
我们如何在有向概率模型中，在存在具有难处理后验概率分布的连续隐变量和大数据集的情况下执行有效的推理和学习？我们引入一个随机变分推理和学习算法，它可以扩展到大型数据集，在一些温和的可微性条件下，甚至可以在棘手的情况下工作。我们的贡献有两个方面。首先，我们显示变分下界的重新参数化产生下界估计量，其可以使用标准随机梯度方法直接优化。第二，我们显示i.i.d.数据集，这个数据集中每个数据点具有连续的隐变量。通过使用提出的下限估计量拟合近似推理模型（也称为识别模型）到难处理的后验，可以使后验推理特别有效。理论优势反映在实验结果中。
1.Inroduction
我们如何使用其连续隐变量和/或者参数具有难以处理的后验分布的定向概率模型执行有效的近似推理和学习？变分贝叶斯（VB）方法涉及到对难处理后验的近似优化。不幸的是，共同的平均场方法需要期望的分析解关于近似后验，这在一般情况下也是棘手的。我们展示变分下界的重新参数化如何产生下界的简单可微分的无偏估计量；该SGVG（随机梯度变分贝叶斯）估计器可以用于具有连续隐变量/或参数的几乎任何模型中的有效近似后验推论，并且可以直接使用标准随机梯度上升技术进行优化。
对于i.i.d.数据集和每个数据点的连续隐变量的情况，我们提出自动编码VB（AEVB）算法。在AEVB算法中，我们通过使用SGVB估计器来优化识别模型，使得我们能够使用简单的祖先采样来执行非常有效的近似后验推断，从而允许我们有效地学习模型参数，从而使得推理和学习特别高效，而没有每个数据点需要昂贵的迭代推理方案（如MCMC）。所学到的近似后验推理模型还可以用于诸如识别、去噪、表示和可视化目的的任务。当神经网络用于识别模型时，我们得出了变分自动编码器。
2.Method
Variational Autoencoder in TensorFlow