其他分享
首页 > 其他分享> > 【李宏毅2020 ML/DL】P35-42 Attack ML Models

【李宏毅2020 ML/DL】P35-42 Attack ML Models

作者:互联网

我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的、自己不知道的东西。

已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-notes

本节内容综述
  1. Attack ML Models 的研究有什么意义?
  2. 本节课将讲Attack与Defense,其中***占了大部分。
  3. 综述,我们想做什么?我们想要加一些特制的noise,误导神经网络,得到非常不同的结果。问题就是,如何特制noise呢?Loss Function for Attack 。
  4. 其中,Loss Function for Attack种***分为两种:Non-target Attack以及Target Attack。
  5. 提到了约束,有了这些基础,我们就可以开始研究How to Attack。Example很有趣,也很有说服力。
  6. 为什么会这样?What happened?
  7. 接下来讨论Attack Approaches,将把FGSM作为baseline。
  8. 但是,之前讨论的都是需要神经网络参数的方法(以此来进行梯度下降)。这叫做While Box Attack。因此,保护好网络的参数,就可以保证安全?并不是,我们可以做Black Box Attack。
  9. 此外,还可以做到 Universal Adversarial Attack ;此外,Adversarial Reprogramming,我们还可以通过***技术改变神经网络的用处。
  10. Attack in the Real World。
  11. 最后是有关防御Defense的部分。可分为被动防御Passive defense与主动防御Proactive defense。

 

文章目录

 

小细节

Motivation

Loss Function for Attack


如上,在进行***训练时,要保证参数是固定的;此外,训练时要加上约束条件,就是保证我们的噪音不能过大,不能被发现。

Constraint


如上,李老师倾向于使用 L-infinity 表示影像的差别。这些标准最终还是取决于人类的感觉。

How to Attack

x ∗ = a r g max ⁡ d ( x 0 , x ′ ) < ϵ L ( x ′ ) x^* = arg \max_{d(x^0,x')<\epsilon}L(x') x∗=argd(x0,x′)<ϵmax​L(x′)

如上,但是有了限制我们该如何做呢?

首先我们先把限制去掉,正常考虑梯度下降。

接下来,我们把限制加上,在每一步下降时都判断:“是否超过限制?”,如果超过限制,则进行修正。

其中,fix()函数有讲究:对于超过的维度,就将其归为允许的最大/最小值。

Example


如上,李老师对ResNet-50进行了50轮***训练,得到了右边的新图片,输入到ResNet-50种,ResNet-50很确信这就是一个海星。

左右两张图片有区别么?

如上,我们将其做相减,乘上50倍,得到上图。

此外,变成键盘也可以。

注意,如果随机加一些noise,但是机器不会误判差距特别大。

What happened?


假设 x 0 x^0 x0是非常高维空间中的点,其存在某一个方向进行一点便宜,是有可能将值推向别的类别的。

Attack Approaches

其实,***方法其实可能只是:

我们讨论的 Fast Gradient Sign Method, FGSM 是最简单的方法之一。


如上,FGSM种 x ∗ x^* x∗只有两种更新可能:

因此,无需多次迭代,得到方向,就直接更新;或者说FGSM只关心方向。

Black Box Attack


如上,我们用同样的训练数据,训练出一个 Proxy ,然后研究如何***这个 Proxy ,就基本是得出了***原目标的方案。


如上,表格中的数据代表正确率。如果使用原模型做代理,则正确率降到最低。

Universal Adversarial Attack


有人进行了研究:

Adversarial Reprogramming


我们还可以通过***技术改变神经网络的用处。

比如原本是一个用于分类的网络;我们加上了一些noise,并且在图片中心防止黑白格子,其就可以对某个颜色方块数量进行区分。

Attack in the Real World



比如,可以用在人脸识别上。我们可以把noise集中在眼睛的地方,从而制作一款眼睛,让机器识别出错误的人。

此外,还可能对自动驾驶造成威胁。


而对于图片之外的领域,也存在***的研究。

Defense

Adversarial Attack cannot be defended by weight regularization, dropout and model ensemble.

Two types of defense:

Passive Defense


如图,我们可以先对输入信息进行一个预处理。

这个预处理无需太复杂。比如,平滑化。

Feature Squeeze

基于这个想法,我们提出了Feature Squeeze,做多个预处理,集成学习,或者说查看这张图片是否被***过。

Randomization at Inference Phase

此外,我们还可以对图片进行一些改动,比如小缩放以及一些小边框:

但是,这种思路就怕预处理方法被泄露。

因为,***者如果知道了预处理方法,其可以将预处理作为神经网络的第一层,进行训练,再***。

Proactive Defense

精神为:找出漏洞、补起来。

找出每一张图片的***图片,然后再去训练这些加噪了的图片。思想类似Data Augmentation。

 

标签:DL,noise,Models,ML,Adversarial,预处理,Attack,Defense,我们
来源: https://blog.51cto.com/u_15279775/2938540