图像修复 gan-照片修复怎么弄

SRGAN是2017年CVPR中备受关注的超分辨率论文,把超分辨率的效果带到了一个新的高度。所谓超分辨率重建就是将低分辨率的图像恢复成对应的高分辨率图像。由于地分辨率图像存在大量的信息缺失,这是一个病态的求逆解问题,尤其在恢复高倍分辨率图像的时候。传统方法通过加入一些先验信息来恢复高分辨率图像,如,插值法、稀疏学习、还有基于回归方法的随机森林等,CNN在超分辨率问题上取得了非常好的效果。

SRGAN是基于CNN采用GAN方法进行训练来实现图像的超分辨率重建的。它包含一个生成器和一个判别器,判别器的主体是VGG19,生成器的主体是一连串的Residual block,同时在模型的后部加入了subpixel模块,借鉴了Shi et al 的Subpixel Network的思想,让图片在最后的网络层才增加分辨率,使得提升分别率的同时减少了计算量。论文中给出的网络结构如图所示:

论文中还给出了生成器和判别器的损失函数的形式:

1.生成器的损失函数为 :

其中, 为本文所提出的感知损失函数, 。

内容损失 : ;   训练网络时使用均方差损失可以获得较高的峰值信噪比,一般的超分辨率重建方法中,内容损失都选择使用生成图像和目标图像的均方差损失(MSELoss),但是使用均方差损失恢复的图像会丢失很多高频细节。因此,本文先将生成图像和目标图像分别输入到VGG网络中,然后对他们经过VGG后得到的feature map求欧式距离,并将其作为VGG loss。

对抗损失 : ; 为了避免当判别器训练较好时生成器出现梯度消失,本文将生成器的损失函数   进行了修改。

2.判别器的损失函数为:

与普通的生成对抗网络判别器的的损失函数类似。

步骤如下:

1、首先要把碎片分离成单独的图层,以方便下一步的拼接。将图像放大,利用多边形套索工具沿着碎片的边缘将碎片选择出来,按下Ctrl+J将选择区的图像复制为新图层。然后再回到背景图层选择下一块碎片。再使用Ctrl+J将它放置在新的图层上。这样将照片的每一个碎片都建立为一个图层。双击图层名称,为该图层起一个形象的名字。

2、在背景图层前面的眼睛图标上点击,将它隐藏,分别进入较小的碎片图层,按下Ctrl+T,对它们应用自由变换。旋转角度,使它和最大的那张照片对齐。破损的照片的扫描稿往往不用再缩放,关键要对好位置和角度。而位置和角度最简单的参考点就是照片的边缘线与照片中的建筑物等,把它们对齐后将角度旋转到一致即可。

3、对位完成之后,按下Shift+Ctrl+E,将所有可见图层合并。接着按下Shift+Ctrl+U,将照片去色处理。

4、将拼接好的图层改名为“修复背景”,建立一个新层,起名为“覆盖层”,将把修复的图面放在这个新层上,让它覆盖在下方缺陷位置。

5、在工具条中选择仿制图章工具。

6、在属性栏中,设置样本为“当前和下方图层”。这样在修复时,就可以把下层的图像复制在上面的空图层上,从而达到修复的目的。

7、按着Alt键,在周围取样,松开Alt键,在破损的地方涂抹。就可以把周围的取样图像覆盖在破损位置。

8、每一个取样点都需要认真对待。要注意取样点和修复点一定要相似,包括明度相似与纹理相似。举一个例子,照片右侧下方有三条水泥边角线,可以从左边较好的地方取样,然后把它覆盖到右边去,每条线都覆盖一下,最终修复这里。

9、将画面放大后,对人的面部用加深减淡工具进行细修,加强了明暗对比。

10、使用“图层”-“拼合图像”命令,扔掉隐藏图层,将全部图像变成一个背景层。将图像修复后,还要为它加上画框。利用两步裁剪法。首先我们使用裁剪工具,框出画面的范围,将其裁剪。

11、将背景色设置为白色,再次使用裁剪工具,先框选整个画面,然后按着Alt键,拖动角部的控制点,将裁剪框扩大到画面以外。扩大的范围,就会成为最后照片的边框。

12、这样我们就完成修复了。

1.简介

2.方法

3.其他

参考文献

图像修复是一种使用相邻区域中可用的空间信息,以不可检测的方式,填充缺失或损坏区域的技术,是图像处理的研究课题。图像修复是图像处理的重要研究子类。图像修复是一种古老的恢复图像的方法,这些图像因划痕而损坏并且陈旧。它在计算机图形学中起着重要作用,保留了历史遗产并消除了不需要的物体。已经提出了几种用于图像修复的算法,如基于PDE(偏微分方程)的修复,基于样例的修复,双边滤波修复,快速数字修复。可以通过在等照线方向上传播已知信息来重建丢失的信息。等照度线是强度相等的线。图像修复可以通过与加权平均内核进行卷积来实现。

有时需要从图像中删除不需要的物体和划痕。不需要的对象可以是徽标,文本等。删除可以手动完成,但这是一项繁琐的任务。不需要的物体和划痕不能直接擦除,因为擦除会在该区域留下白色补丁。通过使用相邻的空间信息,填充不需要的和白色的补丁。该方法称为图像修复。

使用图像修复可以删除在背景下的洞,就好像被删除的对象永远不存在一样。 因此,图像修复旨在填充孔洞以创建令人满意的信息延续,使得中立观察者不容易识别出有编辑过的痕迹。修复不能重建原始图像,但是可以通过与原始图像非常相似的部分填充丢失或不需要的对象。Marcelo Bertalmio是第一个提出图像修复概念的人。

图像修复算法有广泛的应用,包括:

a)物体移除:用户指定的物体可以通过视觉上合理的方式使用修复技术来移除。

b)划痕消除:通过在包含划痕的部分应用图像修复算法,可以恢复因划痕而损坏的旧图像。

c)传输过程中损坏图像的校正:图像在无线传输中经常被破坏。通过将丢失的部分视为修复域,可以恢复原始图像。

d) 产生视觉上令人惊叹的效果:在图像中,可以通过使用修复技术产生所需的惊人效果。

e)文本删除:修复算法可用于消除图像上不需要的文本。

f)其他应用,如红眼校正,旧损坏影片的恢复,压缩等等。

修复方法可分类为基于扩散的修复、基于样本的修复、基于卷积的修复[1,2]。

基于扩散的修复方法在像素级上,将已知图像的信息扩散到未知区域。它利用变分方法概念和PDE(偏微分方程)。此方法不能够为纹理图像提供令人满意的结果,同时还会产生模糊。如果要修复的区域很小,则可以使用这种方法。

在基于样本的修复方法中,通过来自周围已知区域的信息在补丁级别的对缺失区域进行填充。该方法在恢复纹理和重复结构方面提供了令人印象深刻的结果。然而,它们在没有任何示例的情况下重建几何体的能力是有限的并且未被充分理解。这种方法克服了扩散算法的缺点。所提出的图像修复算法遵循以下步骤:1)计算每个补丁的优先级;2)选择最优补丁;3)顺序式地进行填充。填充孔洞的方法是从全局图像中确定的。

基于卷积的修复算法[3]通过将受损像素的邻域与适当的内核卷积来绘制图像。它们非常快,但它们在高对比度损坏边缘处没有很好的效果。该方法中,使用要修复的图像的梯度来计算掩模系数。该算法快速,可迭代,易于实现,并提供非常充分的结果。

Oliveira等人提出了一种使用卷积运算的快速图像修复算法。在他们的算法中,要修复的区域与预定义的扩散掩模重复地进行卷积。该模型与各向同性扩散非常相似。在该方法中,扩散掩模的中心权重被认为是零,因为其原始图像中的相关像素是未知的。它能够在对称背景图像中移除大的物体,并且不是模糊,但是当在自然图像中移除大的对象时会失败或者产生差的结果。

图像修复是一种在图像中填充缺失数据的技术,是图像处理的研究课题。它以一种不可检测的方式填充损坏和丢失的数据。图像修复的目的是以一种视觉上看似合理的方式重建缺失的区域,使之在人眼看来是合理的。在这里,讨论了4篇论文的修复方法,即1) 基于全局与局部一致的修复 ;2) 基于门控卷积的修复 ;3) 基于对抗边缘学习的修复 ;4) 基于前景感知的修复 。

[1]     Amasidha K S, Awati A S,Deshpande S P, et al. Digital Image Inpainting: A Review[J]. InternationalResearch Journal of Engineering and Technology (IRJET), 2016, 3(1).

[2]     Chavda P, Gagnani L, Chavda P,et al. Survey on Image Inpainting Techniques: Texture Synthesis, Convolutionand Exemplar Based Algorithms[J]. International Journal for Innovative Researchin Science and Technology, 2015, 1(7): 100-106.

[3]     Noori H, Saryazdi S,Nezamabadi-Pour H. A convolution based image inpainting[C]//1st Internationalconference on Communications Engineering. 2010: 130-134.