分布式共轭对偶梯度算法研究

吕净阁

安徽理工大学

摘要：分布式优化是大量自主个体(计算节点)通过相互间的局部信息传递或相互交流,协同合作来解决关于整个系统或网络的优化问题的优化方法。由于需要个体与其邻居进行局部信息交互,可能会产生不必要的隐私信息泄露等问题;海量数据中大部分都是具有实时更新特性的动态流数据,传统的批处理方法难以有效处理这些动态流数据。因此,针对以上两个问题,研究了分布式共轭对偶梯度算法的隐私保护性以及能对流数据进行实时处理的分布式在线学习算法。一、针对个体间信息交互易导致状态和局部函数等隐私泄露的问题,在分布式共轭对偶梯度算法的基础上,有效结合同态加密技术中的Paillier Cryptosystem机制,提出了一种具有隐私保护的分布式共轭对偶梯度算法,并证明了在无向时变网络拓扑下,且本地局部成本函数是强凸函数时算法的收敛性;进一步的理论分析表明某一个体即使能够收集多步骤中间信息仍然无法窃取邻居的敏感信息,因此该算法能够有效保护隐私。最后,通过数值模拟验证了算法的隐私保护性。二、在时变有向强连通网络环境下,针对如何实时处理动态流数据的问题,在分布式共轭对偶梯度算法的基础上研究了一种分布式在线学习优化算法—分布式在线共轭对偶梯度算法。对分布式共轭对偶梯度算法添加在线设置,建立相关的数学模型,进行迭代求解,并给出算法的原始变量以及对偶变量的Regret界,通过理论证明了当本地成本函数是强凸函数时,算法的收敛性以及本地估计的Regret界关于时间的次线性。综上所述,针对分布式计算过程中可能会产生隐私泄露的问题,提出了一种运用同态加密技术来保证数据隐私的具有隐私保护的分布式共轭对偶梯度算法,并通过理论证明算法的收敛性以及隐私保护的有效性;针对如何实时处理动态流数据的问题,提出了一种分布式在线共轭对偶梯度算法,并通过理论分析证明了算法的收敛性。图[12]表[5]参[64]。 还原 关键词：

分布式优化;对偶梯度;同态加密技术;隐私保护;在线学习;Regret界;权重平衡;

• 专辑：

  基础科学

• 专题：

  数学

• 分类号：

  O224

导师：

李德权;

标签：梯度,算法,隐私,分布式,共轭,对偶
来源： https://www.cnblogs.com/cx2016/p/13792081.html