DO NOT LET PRIVACY OVERBILL U TILITY: G RADIENT E MBEDDING P ERTURBATION FOR P RIVATE L EARNING

在差分隐私机制中，训练数据模型的隐私泄漏是有界的。然而，对于有意义的隐私参数，当模型包含大量可训练参数时，差异私有模型会显著降低效用。在本文中，我们提出了一种梯度嵌入扰动（GEP）算法，用于训练具有较高精度的差异私有深度模型。具体而言，在每个梯度下降步骤中，GEP First将单个私有梯度投影到非敏感锚子空间，产生低维梯度嵌入和小范数剩余梯度。然后，GEP根据隐私预算分别扰动低维嵌入和剩余梯度。这种分解允许较小的扰动方差，这大大有助于打破私人学习的维度障碍。使用GEP，我们可以在合理的计算成本和适度的深度模型隐私保证的情况下获得相当高的精度。特别是，当隐私限制=8时，我们在CIFAR10上实现了74.9%的测试准确率，在SVHN上实现了95.1%的测试准确率，显著改善了现有结果。

标签：DO,GEP,PRIVACY,私有,梯度,模型,嵌入,RADIENT,隐私
来源： https://www.cnblogs.com/p2win/p/15647662.html