论文笔记：GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning

论文名字

GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning

来源

未发布

年份

2021.5.2

作者

Hanchi Ren, Jingjing Deng, Xianghua Xie

核心点

利用梯度信息对联邦学习中的客户端原始数据进行攻击，反推出原始数据。

阅读日期

2021.5.14

影响因子

页数

17

引用数

引用

内容总结

文章主要解决的问题及解决方案：

在联邦学习中，可以从共享的梯度中恢复客户端的原始数据（敏感信息）。文中给出的是一种基于对抗生成网络（GAN）的方法达到上述目的。（一种攻击方法）

文章相比之前的工作创新之处：

1、相较于DLG精度有所提升（但因为是用GAN网络，攻击速度就比较慢）

2、指出DLG中利用的梯度仅是最后一层网络的梯度。（但文中方法不确定是不是用全部的梯度）

3、提出新的loss function用于模型训练。（我认为这是其相较于DLG精度上有提升的主要原因）

文章的主要工作：

1、提出一种基于GAN网络的攻击模型，用于反推联邦学习中客户端的原始数据（文中主要是对图像数据进行实验），该方法的主要思想是建立GAN网络生成随机数据，最小化真实梯度和虚拟梯度，从而完成原始数据的推断。（主要思想与DLG一样，创新点在于其loss function的定义）。

2、loss function的定义：

其中，WD(Wasserstein Distance) loss是用于度量两个梯度向量的距离（欧式距离），MSE是均方差，TV(total variation) loss是对生成的虚拟图像（假图像）数据施加的平滑度约束（是一个平滑正则项）。

3、GRNN模型特点：①对需要攻击的模型的收敛性没有要求，即可以直接用第一个epoch训练后的梯度进行攻击。②需要对激活函数做一定修改，因为需要“反向训练”，即利用梯度对虚拟输入求偏导，所以激活函数需要是二阶可微的函数，文中将ReLU改为sigmoid函数。

4、文中给出度量指标：①MSE；②PSNR（峰值信噪比）；③inference accuracy或Re-identification Accuracy（推断准确性）（与 Top-1、Top-5有关）。

其中，（我觉得255是图像像素相关）。另外，但未找到inference accuracy的定义（我的猜测是利用模型预测值是否与label一致进行判断，用上Top-1、Top-5等，选前k的最好的概率进行比较）。

5、实验细节：数据集：MNIST、CIFAR-100、LFW；模型：LeNet、ResNet-18。

文章内容：

实验结果：

附录：

参考文献：