网站建设北京贵,中小微企业和个体工商户,哪个网站做任务能赚钱,wordpress注册登录页面所谓改进的去噪扩散概率模型主要改进在哪些方面#xff1a; ①对数似然值的改进 通过对噪声的那个方差和T进行调参#xff0c;来实现改进。 ②学习
这个参数也就是后验概率的方差。通过数据分析#xff0c;发现在T非常大的情况下对样本质量几乎没有影响#xff0c;也就是说…所谓改进的去噪扩散概率模型主要改进在哪些方面 ①对数似然值的改进 通过对噪声的那个方差和T进行调参来实现改进。 ②学习
这个参数也就是后验概率的方差。通过数据分析发现在T非常大的情况下对样本质量几乎没有影响也就是说随着我们增加更多的扩散步数μ比更有影响力。但是通过分析发现扩散过程中前几步对loss值贡献最大那么我们可以对调整。通过实验发现将的值确定在噪声方差和后验概率方差之间效果最好。顺便我们将loss公式改为。将确定为一个较小的值保证仍然是主要影响源。
③改善噪声时间表
我们发现之前的噪声时间表对于高分辨率的图像效果比较好但是对于分辨率为64×64和32×32的图像效果不好。这项操作改变了每一时间步所加的噪声进而改变了后续数据的分布。我们可以暂且认为控制了每一时间步所加入的噪声量使得原本图像更慢地变为纯噪声数据如果像之前的线性时间表可能会出现图像已经变成纯噪声数据了但是时间步还没到T导致不断向图像加噪声使得难以训练。
④降低梯度噪声
通过分析发现loss值是非常难优化的因为梯度很嘈杂也就是说梯度受到输入数据等其他因素影响非常大。这时候我们采取的方法是把原来的loss值分解为各个时间步的loss值对每个时间步的loss值进行优化最后赋予权重加起来求期望。如下图所示 ⑤提高采样速度
现有的采样技术使得训练非常耗时我们采用重要性采样使得不用跟随时间步一步一步采样只有前一步采样完后一步才能采样。可以随意选取时间步序列对任一时间步采样。
