首页 > TAG信息列表 > Federated

【区块链与隐私保护系列】基于Linux的TensorFlow Federated安装与使用

一、Tensorflow Tederated安装 基础环境:   操作系统:Ubuntu20.04 首先,安装Anaconda:    具体的安装步骤可以查看这篇文章,亲测实用,https://blog.csdn.net/ITBigGod/article/details/85690257 然后,安装TensorFlow:    conda create -n tff  (创建名为tff的虚拟环境)    cond

【流行前沿】QSFL: A Two-Level Uplink Communication Optimization Framework for Federated Learning

今天分享一篇研究模型细粒度传输的联邦学习文章,作者Liping Yi来自于南开大学,发表在ICML 2022。 Intro 故事的起源还是来自于深度网络越来越大,导致上行链路达到了TB级别,这对于低带宽的无线上行链路来说太难传输了,因此要对通信过程进行优化。作者总结了现有的communication-effectiv

MySql-FEDERATED引擎

场景:我在B服读取A服的数据库表 A服-表结构 CREATE TABLE `users` ( `Id` int(0) NOT NULL AUTO_INCREMENT, `Name` varchar(16) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '姓名', PRIMARY KEY (`Id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREM

联邦学习(Federated Learning)详解以及示例代码

联邦学习也称为协同学习,它可以在产生数据的设备上进行大规模的训练,并且这些敏感数据保留在数据的所有者那里,本地收集、本地训练。在本地训练后,中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献,但是不访问实际的敏感数据。 联邦学习本身并不能保证隐私(稍后我们将讨论

论文坑位-"Personalized Federated Learning using Hypernetworks" & "Personalized Federated

前一篇是ICML 2021的,后一篇是NIPS 2021的。 Personalized Federated Learning using Hypernetworks 这篇文章很有意思的地方在于,直接使用一个hypernetwork根据用户的特征向量生成个性化的模型参数,即: \[\theta_i=h(\varphi, v_i) \]还没有精读,但是他的思想很粗暴,不像hierarchy mode

Tensorflow Federated(TFF)框架整理(下)

之前提到的方法,完全没有提供任何的反向传播/优化过程,都是tff.templates.IterativeProcess帮我们处理好的,我们每次传入当前state和训练集就可以得到新的state和metrics。为了更好的定制我们自己的优化方法,我们需要自己编写tff.template.IterativeProcess方法,重写initialize和next方

简单梳理一下论文中的想法(二)

  最近看了一篇在IoT网络中,利用IRS去集成AirComp(Over-the-air computation 空中计算)和EB(energy beamforming 能量波束形成)技术解决Fast wireless data aggregation(WDA 快速无线数据聚合)和efficient battery recharging(高效的给电池充电)两大问题的论文:   一、背景(background)-

联邦学习——论文研究(FedBoost: Communication-Efficient Algorithms for Federated Learning)

主要内容:   不同于梯度压缩和模型压缩,FedBoost集成学习算法,能够降低服务器到客户端   和客户端到服务器的通信成本,提高通信效率。 集成学习:集成学习(ensemble learning)原理详解_春华秋实-CSDN博客_集成学习 主要优点:   1. Pre-trained base predictors: base predictors

AI之FL:联邦学习(Federated Learning)的简介、入门、应用之详细攻略

AI之FL:联邦学习(Federated Learning)的简介、入门、应用之详细攻略 导读       2019 年2 月,微众银行 AI 团队自主研发的全球首个工业级联邦学习框架 FATE(Federated AI Technology Enabler)正式发布,提供基于数据隐私保护的分布式安全计算框架,为机器学习、深度学习、迁移学习算法

联邦学习 Federated learning Google I/O‘19 笔记

Federated Learning: Machine Learning on Decentralized data https://www.youtube.com/watch?v=89BGjQYA0uE 1. Decentralized data Edge devices can data live at the edge? On-device inference offers improved latencyworks offlinebetter battery lifeprivacy advant

Mysql_federated存储引擎

参看该博客:https://blog.csdn.net/commasx/article/details/87284878 1.存储引擎介绍,其中可以通过show engines查看当前数据库启用的engine插件 2.如果想要启用某个存储引擎,那么可以直接可以将该存储引擎名字放到配置文件中,然后再重启数据库 3.federated该存储引擎可以远程连接目

论文笔记:GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning

论文名字 GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning 来源 未发布 年份 2021.5.2 作者 Hanchi Ren, Jingjing Deng, Xianghua Xie 核心点 利用梯度信息对联邦学习中的客户端原始数据进行攻击,反推出原始数据。 阅读

初识联邦学习

摘要   联邦机器学习又名联邦学习,联合学习,联盟学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。   中文名:联邦机器学习  外文名:Federated machine learning/Federated Learning 背景

Federated Recommondation

Federated Recommondation 1. Introduction Federatedrec aims to address recommondation problems such as rating prediction and item ranking under federated learning senario. It includes implementation of a number of popular recommondation algorithms based on

MySQL中DBlink的使用

   在实际工作中,我们可能会遇到需要操作其他数据库实例的部分表,但又不想系统连接多库。此时我们就需要用到数据表映射。如同Oracle中的DBlink一般,使用过Oracle DBlink数据库链接的人都知道可以跨实例来进行数据查询,同样的,Mysql自带的FEDERATED引擎完美的帮我们解决了该问题。

MySQL下的DBlink--FEDERATED引擎

MySQL下的DBlink--FEDERATED引擎原文地址:http://blog.itpub.net/31401187/viewspace-2649520/在实际工作中,我们可能会遇到需要操作其他数据库实例的部分表,但又不想系统连接多库。此时我们就需要用到数据表映射。如同Oracle中的DBlink一般,使用过Oracle DBlink数据库链接的人都知道可

要看的论文备忘录

1、最先由谷歌提出联邦学习的概念 KONEČNÝ J, MCMAHAN H B, RAMAGE D, et al. Federated optimization: distributed machine learning for on-device intelligence[J]. arXiv preprint, 2016 2、一种通过小部分原始的梯度信息,反推出原始数据信息的隐私泄露方法 PHONG L

论文阅读:Differential privacy federated learning a client level perspective

论文名字 Differential privacy federated learning a client level perspective 来源 NIPS 2017 顶会 年份 2017 作者 Robin C. Geyer, T assilo Klein, Moin Nabi 核心点   阅读日期 2021.1.21 和 2020.12.19 影响因子   页数 7 引用数   引用   内容

初识 Federated Learning

背景 设备中有很多数据,可以用来训练模型提高用户体验。但是数据通常是敏感或者庞大的。 隐私问题 数据孤岛:每个公司都有数据,淘宝有你的购买记录,银行有你的资金状况,它们不能把数据共享,都是自己训练自己有的数据,是一个个数据孤岛。 联邦学习的概念 联邦机器学习是一个机器学习

Mysql 开启Federated引擎,并建表,用于创建一个不同IP数据库的表的镜像

参考如下两篇文章 https://blog.csdn.net/qq_42176520/article/details/89019022 https://blog.csdn.net/xlgjjff/article/details/100163862   CREATE TABLE `tb_bus_askforleave` ( `AskID` varchar(64) NOT NULL COMMENT 'ID', `AskLoginCode` varchar(64) DEFAULT

mysql基于federated存储引擎访问远程数据库表

还是老问题 最近在开发一个项目,需要访问另一个项目的数据,由于两个数据库是部署在同一个服务器上,且本项目只是对另一数据读取,因此决定在项目中使用双数据源配置进行访问。 如果是想在代码中做双数据源配置,可以查看我的另一篇文章:SpringMVC双数据源配置   今天我这边要讲的是另

sql-Create语句中的变量

我正在尝试在创建脚本中使用一些变量进行数据库设置.我不确定如何使用它们.请说明如何正确格式化我的代码.以下是我尝试的代码以及出现的错误: SET @username = 'xxxx'; -- store number goes here SET @password = 'xxxxxx'; -- store password goes here CREATE TABLE IF NOT EX

【3.3】mysql中的Federated存储引擎,远程表,相当于sql server的linked server

MySQL中针对不同的功能需求提供了不同的存储引擎。所谓的存储引擎也就是MySQL下特定接口的具体实现。 FEDERATED是其中一个专门针对远程数据库的实现。一般情况下在本地数据库中建表会在数据库目录中生成相应的表定义文件,并同时生成相应的数据文件。 但通过FEDERATED引擎创建的

mysql Federated引擎 远程表索引失效和解决方法

问题描述 今天在优化sql慢查询的时候发现一个坑 项目中几张Federated引擎远程表,索引失效 图中标红的这一段都为ALL(全表扫描) 这些失效的表都和remote_eval_employee_quota_detail远程表关联 建表语句如下 CREATE TABLE `remote_eval_employee_quota_detail` ( `employee_id

用mysql实现类似于oracle dblink的功能

    用mysql实现类似于oracle dblink的功能  首先看看有没有federated 引擎。  mysql> show engines; +------------+----------+----------------------------------------------------------------+ | Engine     | Support  | Comment