论文阅读：HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

论文名字

HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

来源

会议 the 12th ACM Workshop

年份

2019.11.11

作者

Xu, Runhua，Baracaldo, Nathalie，Zhou, Yi，Anwar, Ali，Ludwig, Heiko

核心点

提出一种基于加密的SMC名为HybridAlpha的方法，能在保证模型性能不变的情况下，将训练时间平均减少68%，数据传输量平均减少92%。以及解决了参与者中途退出的问题

阅读日期

2020.12.7

影响因子

页数

11

引用数

引用

Xu R , Baracaldo N , Zhou Y , et al. HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning[C]// the 12th ACM Workshop. ACM, 2019.

内容总结

文章主要解决的问题及解决方案：

文章的主要工作：

①在保证模型性能不变的情况下，将训练时间平均减少68%，数据传输量平均减少92%。

②解决联邦学习中，参与者中途退出或是中途加入的问题。

文章内容：

①主要贡献： i）提出了HybridAlpha，一种有效的隐私保护方法，它采用了一种不同的隐私机制，并从一个多输入函数加密方案中定义了一个SMC协议。 ii）从理论上和实验上实现并比较了一种功能性加密方案和常见的传统加密方案，如同态加密及其变形，他们都是基于SMC的。 iii）将提出的HybridAlpha框架在MNIST数据集上进行实验，实验表明其方法在训练时间和通信成本上都有效地提高了，同时提供了与其他方法相同的模型性能和隐私保证。 iv）所提框架对参与者的退出或加入是鲁棒的。分析了在作者定义的可信的TPA、诚实但好奇的聚合器和部分不诚实的参与者中，所提框架的安全性和隐私保证。

②HYBRID-ALPHA 框架：

1. 威胁模型：

Honest-but-curious aggregator: 聚合器是遵循算法和协议的，但可能会去了解参与者的隐私信息。

Curious and colluding participants:参与者可能通过检查与聚合器或最终模型交换的消息，串通起来试图从其他参与者那里获取私有信息。

Trusted TPA: 这是一个独立的机构，受到参与者和聚合者的信任，（例如：在银行业，中央银行经常扮演一个完全可信的角色）TPA负责持有私钥和公钥，TPA还可以执行公钥的分发和function derived 私钥的生成。这个模块是完全可信的。

1. HYBRID-ALPHA 操作细节：（算法模型如图1）

i）无对抗环境：TPA运行Setup和PKDistribute算法，使每个参与者Pi有自己的公钥pki，（为了能够支持允许新的参与者加入，TPA提供比初始参与者数量要多的keys）（算法1 lines 1-5）

聚合A异步向每个参与者pi查询，以训练指定的训练算法L_FL和参与者数量（算法1 lines 7-9）

聚合A收集每个参与者Pi的响应msg_ri（算法1 lines 10-12）

接收到所有响应后，A向TPA请求一个对应于加权向量Wp的密钥，该密钥将用于计算内积。也就是说，聚合A从基于Wp的TPA中请求私钥sk_f,wp，为了计算所有参与者的模型的平均累计和，wp可以被设置为n是接收到响应的数量，A通过对收集到的密文集S_msg_recv和私钥sk_f,wp，用MIFE密码系统的解密算法来更新全局模型M。（算法1 lines 13-17）

参与者部分：训练的模型参数，经过差分隐私增加噪声，以及在有噪声的结果上使用MIFE加密算法，再发送给聚合器（lines 18-22）。

1. 文中提出了两种加速方法（没懂）（4.2部分）

实验结果：

附录：

三篇值得学习的论文：

[34]Theo Ryffel, Andrew Trask, Morten Dahl, Bobby Wagner, Jason Mancuso, Daniel Rueckert, and Jonathan Passerat-Palmbach. 2018. A generic framework for privacy preserving deep learning. In Proceedings of Privacy Preserving Machine Learning Workshop with NeurIPS 2018.

[38] Stacey Truex, Nathalie Baracaldo, Ali Anwar, Thomas Steinke, Heiko Ludwig, and Rui Zhang. 2018. A Hybrid Approach to Privacy-Preserving Federated Learning. arXiv preprint arXiv:1812.03224 (2018).

[32] Martin Pettai and Peeter Laud. 2015. Combining differential privacy and secure multiparty computation. In Proceedings of the 31st Annual Computer Security Applications Conference. ACM, ACM, 421–430.

[2] Michel Abdalla, Dario Catalano, Dario Fiore, Romain Gay, and Bogdan Ursu. 2018. Multi-input functional encryption for inner products: function-hiding realizations and constructions without pairings. In Annual International Cryptology Conference. Springer, Springer, 597–627. （MIFE框架最初提出的）