用php做美食网站有哪些,中山网站建设找丁生,百度爱采购优化软件,免费生成短链接Pix2Pix实现图像转换
Pix2Pix概述
Pix2Pix是基于条件生成对抗网络#xff08;cGAN, Condition Generative Adversarial Networks #xff09;实现的一种深度学习图像转换模型#xff0c;该模型是由Phillip Isola等作者在2017年CVPR上提出的#xff0c;可以实现语义/标签到…Pix2Pix实现图像转换
Pix2Pix概述
Pix2Pix是基于条件生成对抗网络cGAN, Condition Generative Adversarial Networks 实现的一种深度学习图像转换模型该模型是由Phillip Isola等作者在2017年CVPR上提出的可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。Pix2Pix是将cGAN应用于有监督的图像到图像翻译的经典之作其包括两个模型生成器和判别器。
传统上尽管此类任务的目标都是相同的从像素预测像素但每项都是用单独的专用机器来处理的。而Pix2Pix使用的网络作为一个通用框架使用相同的架构和目标只在不同的数据上进行训练即可得到令人满意的结果鉴于此许多人已经使用此网络发布了他们自己的艺术作品。
基础原理
cGAN的生成器与传统GAN的生成器在原理上有一些区别cGAN的生成器是将输入图片作为指导信息由输入图像不断尝试生成用于迷惑判别器的“假”图像由输入图像转换输出为相应“假”图像的本质是从像素到另一个像素的映射而传统GAN的生成器是基于一个给定的随机噪声生成图像输出图像通过其他约束条件控制生成这是cGAN和GAN的在图像翻译任务中的差异。Pix2Pix中判别器的任务是判断从生成器输出的图像是真实的训练图像还是生成的“假”图像。在生成器与判别器的不断博弈过程中模型会达到一个平衡点生成器输出的图像与真实训练数据使得判别器刚好具有50%的概率判断正确。
在教程开始前首先定义一些在整个过程中需要用到的符号
代表观测图像的数据。代表随机噪声的数据。(,)(,)生成器网络给出由观测图像与随机噪声生成的“假”图片其中来自于训练数据而非生成器。(,(,))(,(,))判别器网络给出图像判定为真实图像的概率其中来自于训练数据(,)(,)来自于生成器。
cGAN的目标可以表示为 该公式是cGAN的损失函数D想要尽最大努力去正确分类真实图像与“假”图像也就是使参数(,)(,)最大化而G则尽最大努力用生成的“假”图像欺骗D避免被识破也就是使参数(1−((,)))(1−((,)))最小化。cGAN的目标可简化为 为了对比cGAN和GAN的不同我们将GAN的目标也进行了说明 从公式可以看出GAN直接由随机噪声生成“假”图像不借助观测图像的任何信息。过去的经验告诉我们GAN与传统损失混合使用是有好处的判别器的任务不变依旧是区分真实图像与“假”图像但是生成器的任务不仅要欺骗判别器还要在传统损失的基础上接近训练数据。假设cGAN与L1正则化混合使用那么有: 进而得到最终目标 图像转换问题本质上其实就是像素到像素的映射问题Pix2Pix使用完全一样的网络结构和目标函数仅更换不同的训练数据集就能分别实现以上的任务。本任务将借助MindSpore框架来实现Pix2Pix的应用。
