温州网站推广公司,龙华网站建设的公司,公司邮箱免费注册,网站群管理建设工作WGAN前作#xff1a;有原则的方法来训练GANs
论文#xff1a;https://arxiv.org/abs/1701.04862
发表#xff1a;ICLR 2017
本文是wgan三部曲的第一部。文中并没有引入新的算法#xff0c;而是标是朝着完全理解生成对抗网络的训练动态过程迈进理论性的一步。 文中基本是…WGAN前作有原则的方法来训练GANs
论文https://arxiv.org/abs/1701.04862
发表ICLR 2017
本文是wgan三部曲的第一部。文中并没有引入新的算法而是标是朝着完全理解生成对抗网络的训练动态过程迈进理论性的一步。 文中基本是理论公式的推导看起来确实头大偷懒就直接阅读网上整理好的资料了参考
1译文
2生成模型(一):GAN - 知乎
3令人拍案叫绝的Wasserstein GAN - 知乎
梯度消失
文章花了大量的篇幅进行数学推导证明在一般的情况如果Discriminator训练得太好Generator就无法得到足够的梯度继续优化而如果Discriminator训练得太弱指示作用不显著同样不能让Generator进行有效的学习。这样一来Discriminator的训练火候就非常难把控这就是GAN训练难的根源。
实验验证基于DCGAN分别训练1、10、25epoch固定Generator然后从头开始训练Discriminator绘制出Generator目标函数梯度和训练迭代次数的关系如下。可以看到经过25 epochs的训练以后Generator得到的梯度已经非常小了出现了明显的梯度消失问题。 梯度不稳定
实验验证基于DCGAN分别训练1、10、25epoch固定Generator然后从头开始训练Discriminator绘制出梯度信息。可以看出更有明显的梯度方差较大的缺陷导致训练的不稳定。在训练的早期训练了1 epoch和训练了10 epochs梯度的方差很大对应的曲线看起来比较粗直到训练了25 epochs以后GAN收敛了才出现方差较小的梯度。 本文的解决方案 添加噪声
为增加两个概率分布创造更高的重叠机会一种解决方案是在判别器的输入上添加连续噪声.
