论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation
作者:互联网
论文题目:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation(CVPR2018 spotlight)
论文思路:主要提出跨域表征分离网络CDRD(Cross-Domain Representation Disentangler (CDRD))以及将CDRD和条件图像翻译相结合的拓展网络ECDRD(Extend),然后利用提出的网络解决无监督的分类领域自适应问题,以及条件图像翻译;
网络结构:
优化过程:
注意:该算法的源数据的标注是属性标注,如人脸中的表情标注(戴眼镜等),同时学习出的z是源域和目标域的公共特征空间,z是符合N(0,I)分布;其中ECDRD的结构和DISE的论文结构很像,输入源域和目标域数据,得到z,然后和属性结合自重建和交叉重建,区别是z可以是随机抽样得到,属性是标签,而且有额外的辅助分类器分类属性(借鉴ACGAN和infoGAN);
注意:本论文中属性是标签标注的,z是需要学到的公共特征空间,并且符合N(0,I)分布,在ECDRD中在源域和目标域得到的z需要和N(0,I)分布求KL散度,作为z的loss,同时借鉴论文ICML2016的Autoencoding beyond pixels using a learned similarity metric.衡量自重建的相似性,这也是一种perceptual loss;
可借鉴的地方:
1、本文的KL散度衡量公共特征空间z和N(0,I)分布,类似于DIRT中KL散度衡量随机抽样的属性分布N(0.1)和源域和目标域分离的属性之间的差异;只不过一个是属性空间,一个是特征空间’;2、可以借鉴自重建的感知损失的度量;
实验结果:
数据:
迁移效果:
其中论文只说了在手写字符的图像是16*16的灰度图resize成28*28的灰度图,其他的两个实验没说尺寸的问题,因此本文的条件图像翻译ECDRD在大尺寸的图像翻译上的效果有待考证;
最后做了一个超参数的实验:
lambda是图表中loss中判别器loss的加权值,ECDRD中:可见当网络中有多个loss时,不同loss之间的权重对结果的影响也很大;论文中取lambda=1;
标签:loss,Domain,论文,Disentangled,Cross,源域,图像,ECDRD,属性 来源: https://blog.csdn.net/yshtjdx/article/details/98324971