上海营销型网站seo,做网站和小程序的区别,合肥金融网站设计,1核2g+做网站Text-to-Image
对于根据文字生成图像的问题#xff0c;传统的做法就是训练一个NN#xff0c;然后输入一段文字#xff0c;输出对应一个图片#xff0c;输出图片与目标图片越接近越好。存在的问题就是#xff0c;比如火车对应的图片有很多张#xff0c;如果用传统的NN来训…Text-to-Image
对于根据文字生成图像的问题传统的做法就是训练一个NN然后输入一段文字输出对应一个图片输出图片与目标图片越接近越好。存在的问题就是比如火车对应的图片有很多张如果用传统的NN来训练模型会产生多张图像的平均结果就会很模糊。 Conditional GAN
Conditional GAN与普通GAN的区别在于输入加入了一个额外的condition并且在训练的时候使得输出的结果拟合这个 condition。 此时的discriminator的输入是generator的输出和conditional vector此时discriminator有两个任务
判断图片质量的好坏图片是否是真实图片。图片是否和输入条件匹配。 Algorithm
训练D固定G:
首先从database中抽取m个样本每个样本都是一对条件和图片。从一个分布中抽取m个vector z然后每个vector都加上条件表示为cz。将cz输入generator生成m张图片x 条件图片。从database中随机选取m个真实图片 x 。计算损失最大化损失。
训练G固定D:
随机产生m个噪声随机从database中抽取m个条件通过generator得到G(C,Z)然后经过discriminator得到D(G(C,Z))更改G中的参数使得它的得分越高越好。 具体设计条件GAN判别器有两种方式
图片x经过一个网络变成一个code条件经过一个网络也变成一个code把这两种code组合在一输入到网络里面输出一个分数。首先让图片经过一个网络输出一个分数用于判断图片是否真实同时这个网络也输出一个code这个code和条件结合起来输入到另外一个网络里也输出一个分数图片和文字是否匹配。 Stack GAN叠加生成对抗网络
第一个网络生成小的图片第二个网络生成大的图片。 Image-to-image
传统做法存在的问题就是产生的图片很模糊是因为它是许多张图片的平均。 Conditional GAN的做法就是generator的输入一张图片和noise z输出一张图片discriminator会输入产生的image和input输出一个scalar。通过算法的迭代生成下面第三张图片看起来很清晰但和真实的图片还是有差异。所以提出了GANclose对generator生成的image加上限制使得生成的image与真实对象越接近越好得到第四张图片。 Speech Enhancement(语音增强)
这里和image-to-image原理类似都是把G的输入和输出作为D的输入。 Video Generation
Video Generation能够根据影片的前几帧产生后几帧。conditional 为之前几帧的图片。
