论文笔记-Multi-Adversarial Domain Adaptation
作者：互联网
摘要
文章提出了一种多对抗域自适应（MADA Multi - Adversarial Domain Adaptation）方法，它能够捕捉 多模式结构 以基于 多个域鉴别器实现不同数据的细粒度对齐。
ps ：其实就是对齐的更细，相较于 DAAN 那种源域和目标域整体的对齐，把域根据分类任务划分，按一个个类进行对齐。
1. 介绍
以前的对抗方法只考虑到对齐 整个 源域和目标域，没有考虑 多模式结构 。这会使对齐产生 混淆 ，比如 源域 和 目标域 的类别数不一致，即使一致也可能产生错误对齐。就像下面这张图。
实现域自适应有两个技术挑战：(1) 通过最大化匹配跨域数据分布的多模结构，增强正迁移；(2) 通过避免跨域数据不同数据分布的错误对齐，降低负迁移。（。。感觉说了和没说一样 hh）
文章提出的 MADA 方法，可以在线性时间内，用随机梯度下降，同时实现 增强正迁移 和 降低负迁移
2. 相关工作
略
3. MADA
Domain Adversarial Network
对抗思想，可见 DAAN ，基本一致
MADA
把域分类器按照分类任务的类别数K，分割成 K 个，每一个都负责匹配与第 n 类相关的源域和目标域数据。由于目标域数据没有标签，就不知道某个数据对应的类别。于是文章使用 标签预测器 的输出，因为类别预测的输出经过 Softmax 激活后，是K个类别上的概率分布。因此，用这个输出 y 来作为每个数据与第 n 个鉴别器的关联程度。
Ld ：
MADA 较先前的对抗有三个优点：
- 没有将所有数据都分配给一个域鉴别器，这对于目标域数据而言往往出现对不准的问题
- 降低了负迁移，因为每个点仅与最相关的类对齐，而不相关的类通过概率过滤掉，不会包含在相应的域鉴别器中
- 使用概率加权数据训练多个域鉴别器，会使域鉴别器学习出不同参数，这些不同参数的域鉴别器促进每个实例的正迁移。
损失函数：
与 DAAN 对抗方法的损失函数大同小异，变化的只有 k 类别的域鉴别器 和 加权的特征数据
模型参数的作用也大同小异
4. 实验
数据集 ： Office-31 ， ImageCLEF-DA
BaseLines ： TCA 、GFK 、 DDC 、 DAN 、 RTN 、 RevGrad
评估标准：使用 全标签的源域 和 无标签的目标域 样本训练。在三个随机实验上比较了每种方法的平均分类精度，以及同一迁移任务的不同实验分类精度的标准差。
参数设置： 学习率 ，η0 = 0.01, α = 10 and β = 0.75 ；参数 λ = 1（固定），模拟噪音环境，λ =
，δ = 10
实验设置：
-
在 Office-31 和 ImageCLEF-DA 上，对每个类别都做了迁移
-
为了评估方法对负迁移的鲁棒性，在目标域上随机移除了 6 个类别。
ps ：当源域显著大于目标域的时候，负迁移更可能发生。因为在目标域中存在很多源域数据没法映射的点。
实验分析：
通过 特征可视化，参数共享，域之间的 A 距离，收敛速度 几个角度分析验证了 MADA 更优
标签：Domain,MADA,Multi,鉴别器,Adversarial,类别,源域,对齐,迁移 来源： https://www.cnblogs.com/trillionstar/p/16632436.html