2016年，Uber支付了1.48亿美元来解决关于数据泄露的调查，该事件暴露了超过50万名司机的个人信息。2020年，谷歌因违反GDPR被罚款5700万美元。设备上机器学习的兴起，加上对数据隐私的日益关注，促使开发者和研究人员转向联合学习等技术--一种在不交换用户原始数据的情况下运作的协作学习方法。
严格的GDPR使得欧洲组织之间的数据共享具有挑战性。同时，联合学习系统（FLS）在遵守隐私规则的同时，显示了良好的预测准确性。根据Li等人的说法，联合学习系统与PyTorch和TensorFlow等深度学习框架一样，是游戏规则的改变者。
(资料来源: 论文 作者：Li等人，)
如上图所示，FL的相关论文数量迅速增加，去年已达到约4400篇。
联合学习利用了多个研究领域的技术，如分布式系统、机器学习和隐私。在设备上的数据比存在于服务器上的数据更相关的情况下，FL的应用效果最好。然而，FLS面临各种挑战，如有效性、效率和隐私。FL使多方能够在不交换本地数据的情况下共同训练一个机器学习模型。根据 Li等人的研究，FLS正在各个领域被采用。
根据谷歌AI，一个典型的联合学习协议。
- 联合学习服务器被设备调用
- 服务器从存储器中读取模型检查点。
- 模型被发送到选定的设备上。
- 设备上的模型训练后由服务器更新。
- 服务器将这些更新汇总成一个全局模型，并将其写入存储。
设备上的FL
(资料来源：Bonawitz等人) 论文 by Bonawitz et al.,)
联合学习提供了一个分散的计算策略来训练一个神经模型。现代的移动设备会产生大量的个人数据，这些数据可用于训练。手机不需要将数据上传到服务器进行集中训练，而是处理它们的本地数据并与服务器共享模型更新。来自大量手机的权重由服务器汇总并结合起来，以创建一个改进的全球模型。分布式方法已被证明适用于不平衡的数据集和不独立或完全分布在客户端的数据。
设备上的机器学习伴随着一个隐私挑战。由摄像头和麦克风记录的数据在被黑客攻击的情况下会使个人面临巨大风险。例如，应用程序可能会暴露出用于信息检索或应用内导航的搜索机制。
京都大学的研究人员在实际的移动边缘计算（MEC）框架中通过使用MEC框架的运营商来管理异构客户端的资源，实现了联合平均。分布式深度强化学习（DRL）和联合学习也在移动边缘计算系统中被采用。DRL和FL的使用有可能优化移动边缘计算、缓存和通信。FL也在资源受限的MEC系统中进行，研究人员解决了如何有效利用边缘有限的计算和通信资源的问题。提出了一种叫做FedGKT的技术，每个设备只训练整个ResNet的一小部分，以减少计算的开销。利用联合平均法，研究人员实现了许多机器学习算法，包括线性回归、SVM和CNN。
对于自然语言处理
谷歌等公司在其智能手机键盘中使用联合平均技术进行文本预测。FL被应用于移动键盘的下一个单词预测。联合平均法被用来学习LSTM的一个变种，称为耦合输入和遗忘门（CIFG）。根据研究人员的说法，FL方法可以比基于服务器的日志数据训练达到更好的精度召回率。
例如，像苹果这样的公司在其产品上使用FL技术及其变体，如联合调谐（FT），以进行设备上的计算以及推荐与用户隐私的结合。对于苹果来说，围绕FE和FT的应用占据了系统使用的很大比例。联合评估（FE）发生在用户互动历史上。与现场A/B实验相比，这大大减少了周转时间。在通过实时A/B实验将终端用户暴露在这些候选者面前之前，FE可以帮助快速识别最有前途的ML系统或模型候选者。
对于推荐系统
联合协作过滤器方法在建立推荐系统方面很受欢迎。基于随机梯度方法，项目因素矩阵在全球服务器中通过聚合本地更新来训练。据称，与集中式方法相比，该方法没有精度损失。在另一种方法中，使用了一个联合矩阵分解框架。这里，联合SGD被用来学习矩阵。联合推荐系统（FedRecSys）已经用SMC协议实现了流行的推荐算法。这些算法包括矩阵分解、奇异值分解（SVD）、分解机和深度学习。
虽然在FL中本地数据没有暴露，但交换的模型参数仍然可能泄露敏感信息。模型反转攻击和成员推理攻击等都有可能通过访问ML模型来推断原始数据。这是一个主要问题，特别是在医疗保健等领域。
现代卫生系统需要研究机构、医院和联邦机构之间的合作。此外，在类似大流行病的情况下，国家之间的合作研究是至关重要的，但不能以牺牲隐私为代价。FL使合作成为可能，因为它可以确保隐私。在一个医疗联盟中，可能没有中央服务器。因此，另一个具有挑战性的部分是设计一个去中心化的FLS，它也应该是稳健的，以防止恶意攻击者。隐私问题可以通过额外的机制来解决，比如安全的多方计算和差异化隐私。根据Li等人对FLS的调查，FLS模型的可解释性是一个开放的问题。
The postWhy Is Federated Learning getting so popularappeared first onAnalytics India Magazine.
