邯郸网站设计培训,帝国建设网站,网站流量分析,WordPress自动文章《HINet: Half Instance Normalization Network for Image Restoration》发表于CVPR2021#xff0c;是旷视科技复旦大学北大在图像复原方面的的最新进展#xff0c;所提方案取得了NTIRE2021图像去模糊Track2赛道冠军。 下面谈谈该文章的主要技术点。
1. HIN#… 《HINet: Half Instance Normalization Network for Image Restoration》发表于CVPR2021是旷视科技复旦大学北大在图像复原方面的的最新进展所提方案取得了NTIRE2021图像去模糊Track2赛道冠军。 下面谈谈该文章的主要技术点。
1. HINHalf Instance Normalization Block 与resblock相比主要差别在于HIN对输入3*3conv处理的特征按照通道分成两部分一部分采用IN进行规范化另一部分无规范化处理后的两部分沿着通道维度进行拼接。HIN模块在一半通道上进行IN处理通过另一半保持上下文信息这种操作对于浅层特征更为友好。 2. SAMSupervised Attention Module 就是个带监督的自注意力模块。MPRNet 中提到 SAM 的作用有“首先它在每个阶段提供了对渐进图像恢复有用的真实监控信号。其次在局部监督预测的帮助下生成 attention map 抑制当前阶段信息量较少的特征只允许有用的特征传播到下一阶段。” 3. CSFFCross-stage feature fusion Block 跨阶段特征融合是用来融合不同大小的 attention map 的。在HINet中有两个UNet结构CSFF可以将不同语义级别的信息融合在一起。MPRNet中提到CSFF的作用有“第一由于在编码器-解码器中重复使用上采样和下采样操作结果使得网络不容易受到信息丢失的影响。第二一个阶段的多尺度特征有助于丰富下一个阶段的特征。第三网络优化过程变得更加稳定因为它简化了信息流动从而允许我们在整个体系结构中增加几个阶段。” 小结下对 low-level 模型部署而言用不到这么大的网络半实例归一化的操作也没法用另外SAM和CSFF作用也不大。不过两级网络设计的思想还是比单纯堆模块或者增加网络尺寸和通道这样的方式有效果。原因方面还是在于 low-level 比较依赖浅层信息两级网络中的第一级输出控制在较浅的信息然后再经过一个 U-Net 操作效果就上来了。
