其他分享
首页 > 其他分享> > Generative Image Inpainting with Contextual Attention

Generative Image Inpainting with Contextual Attention

作者:互联网

Paper

Pytorch

引言:

PatchMatch其一

之前的基于深度学习的图像修复方法展现了很大的潜力,这些方法都能生成看似合理的图像结构及纹理,但在修复区域的边界,经常会生成扭曲的结构和模糊的图像,这是因为卷积神经网络无法从图像较远的区域提取信息导致的。

不过,传统的纹理和斑块(patch)的修复能取得比较好的效果(因为他们只需要从周围区域借鉴. 该模型,可以处理包含多个缺失区域的图像,且在修复图像的时候,输入的图像大小没有限制。

作者在人脸图像、自然图像、纹理图像等测试集上,都产生了比现在已有的方法更好的效果

数据库

Places2 datasets 是一个场景图像数据集,包含 1千万张 图片,400多个不同类型的场景环境,可用于以场景和环境为应用内容的视觉认知任务。

CeleA是香港中文大学的开放数据,包含10177个名人身份的202599张图片,并且都做好了特征标记,这对人脸相关的训练是非常好用的数据集。

CelebAMask-HQ:大规模人脸图像数据集,包含三万张高分辨率人脸图像(从CelebA数据集选择而来)及人脸属性分割蒙版

Describable Textures Dataset (DTD) 是一个纹理图像数据

网络架构

 

 

 

PatchMatch

 

 

 已知区域和空洞部分作卷积,即互相关运算,得到的值经过softmax得到attention值

损失函数

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 实验结果

 

 

 

标签:修复,Image,Inpainting,纹理,区域,人脸,图像,Generative,数据
来源: https://www.cnblogs.com/Overture/p/14062497.html