李宏毅机器学习课程笔记-12.3对抗防御入门

• What is Defense
• Passive Defense
• Proactive Defense

What is Defense

有人说模型容易被攻破是因为过拟合，但其实并不是，因为weight regularization、dropout、model ensemble都不能抵挡Adversarial Attack，并且Attack可以攻击多个model。

Defense分为两类：

• Passive Defense

  不修改模型，而是在模型前加一个filter防止模型被攻击，其实这是Anomaly Detection的一个特例。

• Proactive Defense

  训练模型时就对Attack进行防御

如果攻击者知道Defense的具体实现，那攻击者一般仍然可以将Defense攻破。

Passive Defense

在模型前加一个filter防止模型被攻击，filter的作用就是扰动攻击信号\(\Delta x\)使其无效，这个filter并不需要很复杂，有时smoothing就可以，还有Gaussian Filter、Median Filter、Bilateral Filter等等。

• Feature Squeeze

  将图片输入模型得到输出P1，然后分别使用2个Squeezer对图片进行处理后再输入到模型得到输出P2、P3，如果P1和P2的差距、P2和P3的差距超过了某个值就判断该图片是攻击图片。

  详见：Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks(https://arxiv.org/abs/1704.01155)

• Randomization at Inference Phase

  将图片随机稍微缩放然后随机padding，然后随机选择其中一个结果输入到模型。

  详见：Mitigating Adversarial Effects Through Randomization(https://arxiv.org/abs/1711.01991)

Proactive Defense

在训练模型时就找出模型的漏洞并进行改善。

首先用训练集训练模型，然后多次迭代，在每次迭代中使用某种攻击方法分别找到每个训练集样本对应的攻击样本\(x'\)，然后把这些攻击样本添加到训练集中进行训练(这有点像数据增强)，多次迭代的原因是基于新的训练集训练后模型可能会产生新的漏洞。

注意：假如在Proactive Defense时我们使用的攻击方法为A，那我们的模型也许可以防御他人的A攻击，但仍无法防御其它攻击方法。

Github（github.com）：@chouxianyu

Github Pages（github.io）：@臭咸鱼

知乎（zhihu.com）：@臭咸鱼

博客园（cnblogs.com）：@臭咸鱼

B站（bilibili.com）：@绝版臭咸鱼

微信公众号：@臭咸鱼

转载请注明出处，欢迎讨论和交流!

标签：filter,入门,训练,攻击,李宏毅,模型,12.3,Defense,咸鱼
来源： https://www.cnblogs.com/chouxianyu/p/14720919.html