Adversarial Autoencoders

Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.

中文：

在本文中，我们提出“自动对抗编码器”（AAE），这是一个概率自动编码器，使用最近提出的生成对抗网络（GANs），通过匹配自动编码器的隐藏编码向量的聚合后验与任意的先验分布来执行变分推断。将聚合后验与先验匹配确保从先前空间的任何部分生成产生有意义的样本。结果，对抗自动编码器的解码器学习深度生成模型，这个模型映射可以映射一个强加的先验到数据分布上。

In this paper, we propose the “adversarial autoencoder” (AAE), which is a proba- bilistic autoencoder that uses the recently proposed generative adversarial networks (GAN) to perform variational inference by matching the aggregated posterior of the hidden code vector of the autoencoder with an arbitrary prior distribution. Matching the aggregated posterior to the prior ensures that generating from any part of prior space results in meaningful samples. As a result, the decoder of the adversarial autoencoder learns a deep generative model that maps the imposed prior to the data distribution.

图1：对抗自动编码器的结构。顶端是一个标准的自动编码器，从一个隐编码z构建图像x。下边是一个判别网络，预测样本来自于自动编码器的隐编码还是 来自用户所指定的采样分布。

2 对抗自编码器

让x表示输入，z表示一个自动编码器的隐藏编码向量（隐藏单元），这个编码器有一个深度编码器和一个深度解码器。$p(z)$是我们想强加在编码上的先验分布，$q(z|x)$是一个编码分布并且$p(x|z)$是一个解码分布。同时定义$p_d(x)$是数据分布，%p(x)%是模型分布。这个自动编码器的编码函数$q(z|x)$定义一个在自动编码器隐藏编码向量上的$q(z)$的聚合后验分布，如下：

$q(z)=\int_x{q(z|x)p_d(x)dx}$

对抗自动编码器是通过匹配聚合后验q(z)到任意一个分布p(z)来正则化（规则化）的一个自动编码器。为了做到这一点，一个对抗网络依附于自动编码器的隐藏编码向量的顶部，如图1所示。就是这个对抗网络引导$q(z)$去匹配$p(z)$。这个自动编码器同时尝试去最小化构建误差。这个对抗网络的生成器也是自动编码器的编码器$q(z|x)$。编码器确保聚合的后验分布可以欺骗这个判别性的对抗网络，使得认为隐藏编码$q(z)$来自于正式的先验分布$p(z)$。

2.1 和变分编码器的关系

我们的工作在精神上类似于变分编码器；然而，他们使用KL散度惩罚自动编码器的隐藏编码向量上的强加先验分布，我们使用对抗训练过程通过将隐藏编码的聚合后验与先验分布相匹配来做到的这一点。

2.3 在对抗正则化中包含的标签信息

图3：通过向判别网络提供一个one-hot向量来正则化隐编码。这个one-hot向量具有未知类的训练点的而外标签。

图4：利用标签信息更好的正则化隐藏编码。