KDDN（2020-CVPR）

Distilling Image Dehazing with Heterogeneous Task Imitation

摘要

最先进的深度除雾模型在训练中往往是困难的。知识蒸馏使得利用教师网络训练学生网络成为可能。然而，大多数的知识蒸馏方法都是应用于图像分类、语义分割或者目标检测的，很少有研究将知识蒸馏应用于不同图像恢复任务之间的知识转移。本文提出了一种利用异质任务模拟提取图像去雾知识的网络，在本文所提出的模型中，teacher网络是一个自编码器，用于图像重建，去雾网络在teacher网络的辅助下，采用过程导向机制进行学习。student网络学习teacher网络以进行图像重建任务。此外，本文为student网络设计了一个空间加权的通道注意力残差块，以使其自适应地关注通道级别的特征，并更加关注浓雾区域的重建恢复。

问题

1.很多前人的方法基于大气散射模型，但是对参数不精确的预测会导致去雾图片的质量下降，因此提高端到端网络的表现力很重要

2.知识蒸馏一般应用于高级任务，应用在图像重建任务中存在以下三个困难：

（1）什么样的网络在什么任务下可以有效的为图像去雾任务提供有效的辅助与指导？现有的知识蒸馏方法大多是使用Teacher和Student网络来处理相同的任务，很少有人研究不同任务的两个网络之间的知识转移，异构任务是否有助于深度去雾模型的训练？

（2） 教师模型应该如何去辅助学生模型，目前大多数的知识蒸馏方法侧重于结果导向的学习，而忽视了过程导向的学习。如何利用学习过程中的暗知识去辅助student模型去训练是目前知识蒸馏所需要解决的一个问题。

（3）如何衡量Teacher和Stude之间的相似性?在基于知识蒸馏的图像分类中，可以利用类别分布来衡量Teacher和Student网络之间的相似度。然而，对于图像恢复任务，是没有类别分布可以用来衡量相似度的。

网络

Overall Framework

总体结构与 Teacher Network 基本相同，不同点在于基本模型的设置，Student 网络使用了多个RIR模块。RIR模块一般由多个残差块或者SE模块组成，但是，SE模块使用全局池化来学习每个通道的权重，忽略了图像的不同位置雾霾浓度时不一致的这一事实。为了解决这一问题，本文使用了空间加权残差注意力模块（spatially weighted residual attention block， SWRCAB)

SWRCAB

SWRCAB首先通过卷积与sigmoid操作学习输入特征的空间权重，然后使用得到的权重对经过两次卷积操作后的输入特征（记为F）进行加权，加权后的特征经过全局池化、全连接层、sigmoid得到通道的权重，然后使用使用通道权重对F进行加权。通道加权后的特征与输入特征相加，得到最终的特征

LOSS

loss for teacher network

 

 

 loss for dehazing network

 

 

 reconstruction loss

 

 

 perceptual loss

representation mimicking loss

 

 

 考虑到雾浓的位置退化较为严重，网络的浅层难以对这些位置进行恢复，所以本文对表征模仿损失进行了加权，即加大浓度部分的损失的权重。加权后的损失可以表示为 :

 

 

 给出了两种加权方式，一种根据透射率图（这是最直接反应雾浓度的变量），另一种是根据有雾图与无雾图像素值之差（因为有时透射率是一个未知变量），norm表示归一化，使用了极大极小值归一化方式

创新

1.利用异构知识蒸馏构建了一种去雾网络

2.提出了过程导向学习机制

3.提出了 spatial-weighted channel-attention residual block 与 a haze density aware imitation loss 。 为student网络设计了一个空间加权的通道注意力残差块，以使其自适应地关注通道级别的特征，并更加关注浓雾区域的重建恢复

实验

Dataset：ITS of RESIDE

Ablation Study

不同损失

 

 不同程度的Teacher网络

 与其他模型比较

 

 

 

标签：加权,知识,蒸馏,loss,KDDN,网络,图像
来源： https://www.cnblogs.com/kyzh-lhl/p/16342163.html