首页 > 其他分享> > [論文筆記] Partial Convolution (未完成)

[論文筆記] Partial Convolution (未完成)

2022-02-23 23:31:13 作者：互联网

概念

目前圖像修補主要有兩種方法:

基於統計的，像是 PatchMatch
基於深度學習的

基於統計的方法雖然可以產生平滑合理的修補結果，但是其缺乏對圖像語意的理解；而基於深度學習的方法雖然具備對圖像語意的理解，但因為其通常會將圖像缺失部分用固定值填補後才輸入模型，這些填補的值往往影響了輸出結果，造成填補位置缺乏紋理或是與其他區域有明顯顏色對比等。

而在此論文中，透過了 Partial Convolution 來去除填補值產生的影響，避免了這樣的問題。

Partial Convolution 的計算

Partial Convolution 的使用，包含兩個步驟:

masked and re-normalized convolution operation
mask-update step

Masked and Re-normalized Convolution Operation

符號解釋:

W : 卷積核
X : 即將與卷積進行滑窗運算的圖像部分區域
M : 由 1/0 構成的遮罩，0 表示需要修補的區域
l : 與 M 尺寸相同，但每個元素值皆為 1

上面式子指的是，在進行卷積運算時將修補區域的像素值視為 0，並根據卷積運算時修補區域的數量，對卷積結果進行正規化。

Mask-update Step

符號解釋:

m' : 更新後的遮罩
M : 由 1/0 構成的遮罩，0 表示需要修補的區域

上面式子指的是，在每次做完 partial convolution 後，如果該次運算包含了非修補區域，則其輸出位置的遮罩會被更新為 1；反之，如果該次運算全部都是修補區域，則其輸出位置的遮罩保持為 0。這表示隨著模型中 partial convolution 層層的運算，圖像的信息會漸漸地往待修補區域擴散，並逐漸的修補好整張圖像。

整個模型設計

使用類似 U-Net 的架構設計
但是將所有卷積層換成 partial convolution layer
在 decoder 使用 nearest neighbor up-sampling
在 U-Net 的 short-cut 部分，會將 feature map 與 mask 進行 concate
在最後的 partial convolutional layer，輸入會包含原始圖像與原始遮罩，使的模型能夠直接的複製原本具有圖像信息的區域

損失函數

包含了六種損失:

待修補區域 (hole) 的 L1 loss
- M : 遮罩
- $I_{out}$ : 模型輸出
- $I_{gt}$ : ground-true

圖像區域 (non-hole) 的 L1 loss
- M : 遮罩
- $I_{out}$ : 模型輸出
- $I_{gt}$ : ground-true

感知損失
- 可參考風格遷移的論文，主要目的是讓輸出圖像的語意與原始輸入接近
- 符號
  - $I_{out}$ : 模型輸出
  - $I_{gt}$ : ground-true
  - $I_{comp}$ : 模型輸出，但把待修補區域換成 ground-true
  - $\Psi _n$ : 預訓練之 VGG16 中，第 n 層 pooling layer 的輸出

風格損失
- 可參考風格遷移的論文，主要目的是讓輸出圖像的紋理能與原始輸入接近
- 符號
  - $K_n$ : 使用 $\Psi _n$ 計算之 Gram matrix 的正規化因子

Total variation loss
- 一種用於平滑化的懲罰項，用於讓修補區域與周圍的像素數值接近

标签：補區域,遮罩,Partial,Convolution,筆記,圖像,輸出,修補,區域
来源： https://blog.csdn.net/JYLin_master/article/details/123099714