其他分享
首页 > 其他分享> > 论文笔记-Multi-Adversarial Domain Adaptation

论文笔记-Multi-Adversarial Domain Adaptation

作者:互联网

摘要


文章提出了一种多对抗域自适应(MADA Multi - Adversarial Domain Adaptation)方法,它能够捕捉 多模式结构 以基于 多个域鉴别器实现不同数据的细粒度对齐。

ps :其实就是对齐的更细,相较于 DAAN 那种源域和目标域整体的对齐,把域根据分类任务划分,按一个个类进行对齐。

1. 介绍


​ 以前的对抗方法只考虑到对齐 整个 源域和目标域,没有考虑 多模式结构 。这会使对齐产生 混淆 ,比如 源域 和 目标域 的类别数不一致,即使一致也可能产生错误对齐。就像下面这张图。

​ 实现域自适应有两个技术挑战:(1) 通过最大化匹配跨域数据分布的多模结构,增强正迁移;(2) 通过避免跨域数据不同数据分布的错误对齐,降低负迁移。(。。感觉说了和没说一样 hh)

​ 文章提出的 MADA 方法,可以在线性时间内,用随机梯度下降,同时实现 增强正迁移 和 降低负迁移

2. 相关工作


3. MADA


Domain Adversarial Network

对抗思想,可见 DAAN ,基本一致

MADA

​ 把域分类器按照分类任务的类别数K,分割成 K 个,每一个都负责匹配与第 n 类相关的源域和目标域数据。由于目标域数据没有标签,就不知道某个数据对应的类别。于是文章使用 标签预测器 的输出,因为类别预测的输出经过 Softmax 激活后,是K个类别上的概率分布。因此,用这个输出 y 来作为每个数据与第 n 个鉴别器的关联程度。

Ld :

MADA 较先前的对抗有三个优点:

  1. 没有将所有数据都分配给一个域鉴别器,这对于目标域数据而言往往出现对不准的问题
  2. 降低了负迁移,因为每个点仅与最相关的类对齐,而不相关的类通过概率过滤掉,不会包含在相应的域鉴别器中
  3. 使用概率加权数据训练多个域鉴别器,会使域鉴别器学习出不同参数,这些不同参数的域鉴别器促进每个实例的正迁移。

损失函数

​ 与 DAAN 对抗方法的损失函数大同小异,变化的只有 k 类别的域鉴别器加权的特征数据

​ 模型参数的作用也大同小异

4. 实验


数据集 : Office-31ImageCLEF-DA

BaseLines : TCA 、GFK 、 DDC 、 DAN 、 RTN 、 RevGrad

评估标准:使用 全标签的源域无标签的目标域 样本训练。在三个随机实验上比较了每种方法的平均分类精度,以及同一迁移任务的不同实验分类精度的标准差。

参数设置: 学习率 image-20220827104151790 ,η0 = 0.01, α = 10 and β = 0.75 ;参数 λ = 1(固定),模拟噪音环境,λ = image-20220827104308733,δ = 10

实验设置:

  1. Office-31ImageCLEF-DA 上,对每个类别都做了迁移

  2. 为了评估方法对负迁移的鲁棒性,在目标域上随机移除了 6 个类别。

    ps :当源域显著大于目标域的时候,负迁移更可能发生。因为在目标域中存在很多源域数据没法映射的点。

实验分析:

通过 特征可视化,参数共享,域之间的 A 距离,收敛速度 几个角度分析验证了 MADA 更优

标签:Domain,MADA,Multi,鉴别器,Adversarial,类别,源域,对齐,迁移
来源: https://www.cnblogs.com/trillionstar/p/16632436.html