Fixing Data Augmentation to Improve Adversarial Robustness 笔记
作者：互联网
Fixing Data Augmentation to Improve Adversarial Robustness 笔记
- Abstract
- 1.Introduction
- 2.Related Work
- 3.Preliminaries and Hypothesis
- 4.Heuristics-driven Augmentations
- 5.Data-driven Augmentations
- 7.Conclusion
Abstract
对抗训练存在鲁棒过拟合，这是一种鲁棒测试精度在训练过程中开始下降的现象。本文将着重于启发式驱动和数据驱动的增强，作为减少鲁棒过拟合的一种手段。首先，与之间的发现相反，当结合模型加权平均时，数据增强可以娴熟提高鲁棒准确性。其次，讨论了如何领用最先进模型人为增加训练集的大小并京一部提高对抗鲁棒性。
1.Introduction
神经网络的本质并不健壮，在输入中添加难以察觉的偏差成为对抗性扰动，会导致神经网络做出不正确的预测。前人的技术在最新两年对鲁棒性精度的提高已经放缓。是否可能更好地利用原始训练集数据？通过观察模型加权平均(WA)在最小化鲁棒过拟合时有助于更广泛地鲁棒泛化，结合从生产模型采样地数据使用数据增强技术做出了以下工作。
2.Related Work
Adversarial l p l_p lp-norm attacks :在测试集上实现高精度的神经网络非常容易受到对抗性例子的影响，Goodfellow等人提出了快速梯度符号法(FGSM)，该方法通过单个归一化梯度步长生成对抗性的例子。紧随其后的是 R+FGSM，它增加了一个随机化步骤，以及基本迭代方法（BIM，它采用了多个较小的梯度步骤。
Adversarial training as a defense :对抗性训练程序将反向扰动的例子反馈回数据训练中，被广泛认为时训练鲁棒深度神经网络最成功的方法之一。使用经典的早期停止的对抗性训练可以更容易地获得类似与交易的改进。Gowal等人强调了不同的超参数(如网络大小和模型加权平均)如何影响鲁棒性，但同时缺乏对数据增强方案的调查。之后得出结论，随机填充和裁剪之外的数据增强不会提高鲁棒性。
Heuristics-driven data augmentation :数据增强已被证明九二一减少标准训练的泛化误差。对于图像分类任务，通常使用随机翻转、旋转和剪裁等方式。其他更复杂的方式如用另一个图像替换部分图像、在两个图像之间线性插值效果都不错，但在训练见状网络时依然无效。
Data-driven data augmentation :深度增强 (Hendrycks 等， 2020)探索了如何使用几个图像到图像模型的参数扰动来生成增强数据集，从而增强对常见损坏的鲁棒性(Hendrycks & Dietterich, 2018)。几乎没有(Madaanetal.，2020)证据表明生成模型可以用于提高对
l
p
l_p
lp范数攻击的对抗性鲁棒性。实际上，生成模型大多缺乏多样性，普遍认为它们生成的样本无法用于训练分类器，达到与在原始数据集上训练的分类器相同的精度。
3.Preliminaries and Hypothesis
Adversarial training :Madry等人(2018)提出了一个鞍点问题，以寻找最小化对抗风险的模型参数θ:
其中 D 是成对示例 x 和相应标签 y 上的数据分布，
f
(
⋅
;
θ
)
f(·; θ)
f(⋅;θ) 是由 θ 参数化的模型，
l
l
l是合适的损失函数（例如分类任务上下文中的 0 - 1 损失） , S 定义允许的扰动集。对于规模为ε的
l
p
l_p
lp范数有界扰动用
ε
p
ε_p
εp来表示，将对抗集定义为
S
p
=
{
δ
∣
∣
∣
δ
∣
∣
p
≤
ε
}
S_p = \{ δ | ||δ||_p≤ε \}
Sp={δ∣∣∣δ∣∣p≤ε}。使用投影梯度下降法(PGD)，用交叉熵损失
l
c
e
l_{ce}
lce代替不可微的0−1损失
l
l
l，并在尺寸为α的K梯度上升台阶中计算对抗扰动
δ
^
=
δ
(
K
)
\hat{δ}= δ^{(K)}
δ^=δ(K):
其中，在S内随机选择δ(0)，且
p
r
o
j
A
(
a
)
proj_A(a)
projA(a)将一个点a投影到集合a上，
p
r
o
j
A
(
a
)
=
a
r
g
m
i
n
a
′
∈
A
∣
∣
a
−
a
′
∣
∣
2
proj_A(a) = argmin_{a'∈A}||a−a'||_2
projA(a)=argmina′∈A∣∣a−a′∣∣2,将这个包含K个步骤的内部优化过程称为
P
G
D
K
PGD^K
PGDK。
Robust overfitting : 标准训练在实践中往往没有表现出过拟合(Zhang et al.， 2017)，与之相反，对抗训练存在鲁棒过拟合(Rice et al.， 2020)。鲁棒过拟合是一种在测试集上的鲁棒性准确度迅速下降，而在训练集上的鲁棒准确度持续上升的现象。Rice等人(2020)建议踢前停止作为对抗稳健过拟合的主要应急措施，并证明它也比其他正则化技术(如数据增强或增加的“2-正则化”)训练的模型更稳健。其他一些正则化技术可以减少过拟合的影响，但代价是生成过度正则化且缺乏整体稳健性和准确性的模型。
图a显示了外部数据的加入对鲁棒精度的影响，未加入外部数据会出现过拟合现象。图b表示模型加权平均的好处。尽管依然存在过拟合；图c显示增加外部数据的情况下WA使得过拟合现象消失。通过训练，鲁棒精度的跃升是由于学习率的下降。
Model weight averaging : 模型权重平均(WA) (Izmailov 等.， 2018)可以通过模型参数θ的指数移动平均
θ
0
θ_0
θ0(即
θ
0
←
τ
⋅
θ
0
+
(
1
−
τ
)
⋅
θ
θ_0←τ·θ_0 +(1−τ)·θ
θ0←τ⋅θ0+(1−τ)⋅θ在每个训练步骤)来实现。在评估时，采用加权参数
θ
0
θ_0
θ0代替训练参数θ。模型加权平均可以显著提高对各种模型和数据集的鲁棒性。Gowal等人(2020)解释到，WA还降低了踢前停止的敏感性。WA仍然容易出现鲁棒过拟合，随着训练的进行，指数移动平均数呼遗忘旧的的模型参数，学习率改变后，平均权值受到过拟合的影响越来越大，导致平均模型的鲁棒精度变差。
Hypothesis : 当使用WA时，稳健性不仅得到了保留，甚至有提高。于是做出假设:
| 当模型迭代之间能够保持稳健的准确性时，模型加权平均有助于提高鲁棒性 |
Garipov等人2018年提出快速几何集合，认为有效的集合可以通过不同的训练时间聚合多个检查点参数获得，Tramer(2017);Grefenstette等人(2018)发现集成可以降低局部非线性损失面造成梯度模糊的风险。集成一套同样强大的多样化的模型是很重要的。
4.Heuristics-driven Augmentations
Limiting robust overfitting without external data：Rice等人(2020)表明，将Cutout或MixUp等正则化方法与早期停止相结合并不能提高单独提前停止的鲁棒性。正则化方法不会改善“最佳”鲁棒精度，它们降低了鲁棒过拟合的程度，从而导致与经典对抗训练(使用随机作物和权重衰减)相比，鲁棒精度下降得更慢。
Verifying the hypothesis ：由于MixUp保持了稳健的准确性，尽管低于Pad & Crop获得的“最佳”水平，它可以用来评估假设，即当保持模型迭代之间的性能时，WA更有益。
Exploring heuristics-driven augmentations ：使用一下图像补丁技术CutOut(插入空的图像补丁)、CutMix(另一部分替换图像的一部分)且与使用使用WA进行对比。Cutout和CutMix获得的“最佳”稳健精度与Pad & Crop获得的“最佳”稳健精度大致相同，这与Rice et al.(2020)的结果一致。其次，Cutout存在严重的过拟合问题，而CutMix则没有。WA在使用CutMix时更有用。
5.Data-driven Augmentations
Diversity and complementarity：一种合理的解释是数据增强技术倾向于产生原始数据的增强视图，在改进泛化能力上受到限制，特别是训练已知需要输入维度数量的数据多项式的对抗性鲁棒模型时。创造更泛化的增强功能和补充训练是必要的。
Generative models ：考虑三个最新且根本不同的模型BigGAN、VDVAE、DDPM与基于启发式的增强进行分析：表明这些样本要么远离序列和测试分布，要么产生过于相似的样本。
Effect of data-driven augmentations on robustness ： 在上述三种生成模型的实验中，只有DDPM生成的样本能够成功的防止鲁棒性过拟合，并在学习率下降后获得稳定的性能。也证明了从生成模型中采样数据可用于提高鲁棒性。
7.Conclusion
| 证明了基于启发式的数据增强与模型权重平均相结合可以显著提高鲁棒性 |
标签：WA,训练,Fixing,模型,鲁棒性,Robustness,Adversarial,鲁棒,拟合 来源： https://blog.csdn.net/SShirleyy/article/details/119252999