Adversarial Feature Learning

Donahue J, Krähenbühl P, Darrell T. Adversarial Feature Learning[J]. arXiv preprint arXiv:1605.09782, 2016.

Absrtact

对抗生成网络（GANs）框架学习从简单潜在的分布到任意复杂数据分布的生成模型的能力已经凭经验验证，强有力的结果表明生成模型学习到了模的隐空间中的“线性化语义”。直观地，这种潜在的空间可以用于与语义相关的辅助问题的有用特征表示。然而，在现有的形式中，GANs没有学习到将数据投影回潜在空间的逆映射的方法。我们提出双向生成式对抗网络（BiGANs）作为学习这种逆映射的一种方法，并且证明所得到的学习特征表示对于辅助监督判别任务是有用的，可与现在无监督和自监督特征学习的方法竞争。

3 Bidirectional Generative Adversarial Networks

在双向生成式对抗网络（BiGANs）我们不仅训练了生成器，而且附加训练了一个编码器$E:\Omega_X\to \Omega_Z$。这个编码器引导一个分布$p_E(z|x)=\delta(z-E(x))$,将数据点x映射到生成模型的隐特征空间。判别器也被修改以从隐空间获取输入，预测$P_D(Y|x,z)$，其中如果x是真的（从真实数据分布$p_x$中采样），则$Y=1$，如果是生成的（$G(z)$的输出，$z\sim p_Z$），则$Y=0$。

BiGAN训练目标被定义为最小目标

$min_{G,E}max_{D}V(D,E,G)$

这里

$V(D,E,G)=\mathbb{E}_{x\sim p_X}[\mathbb{E}_{z\sim p_E(\cdot|x)}[logD(x,z)]]+\mathbb{E}_{z\sim p_Z}[\mathbb{E}_{x\sim p_G(\cdot|z)}[log(1-D(x,z))]]$

我们使用与Goodfellow等人相同的交替梯度优化来优化这个最小目标。有关详细信息，请参见地3.4节。

BiGANs共享GANs的许多理论性质，同时另外保证在全局最优，G和E是双射函数，彼此互逆。BiGAN还与具有$\mathcal l_0$损失函数的自动编码器密切相关。在下面的章节中，我们重点介绍了BiGANs的一些有吸引力的理论特性。