导语
联邦学习需要多轮通信以使模型收敛，但由于卫星和地面站之间的连接高度零星和不规则，这个过程可能需要几天甚至几周的时间。因此，本文提出了一种一次性卫星联邦学习方法。该方法通过合成数据生成、知识蒸馏和虚拟模型再训练实现卫星与地面站之间的一次性通信，训练出的模型精度与常规迭代FL相当甚至更好。
1 基本信息
作者: Mohamed Elmahallawy,Tie Luo
发表年份：2023
会议/期刊名：2023 24th IEEE International Conference on Mobile Data Management (MDM)
研究对象：适用于低地球轨道卫星的联邦学习
2 问题陈述
联邦学习需要多轮通信以使模型收敛，但由于卫星和地面站之间的连接高度零星和不规则，这个过程可能需要几天甚至几周的时间。因此，本文提出了一种一次性卫星联邦学习方法。
3 研究内容/方法
LEOShot包括三个部分：1.合成数据生成 2.知识蒸馏 3.虚拟模型再训练。
- 合成数据生成.我认为这是这个框架的核心。首先各个轨道上的卫星通过卫星间通信，生成一个部分全局模型，该模型符合该轨道的数据分布。将该模型上传至地面站（服务器），各个轨道的模型结构可能是异构的。地面站存在一个合成数据生成器，将生成的数据输入异构卫星模型，利用它们的logits（最后一层全连接层的输出）计算损失函数反向传播，对生成器参数进行更新，进而不断更新生成的合成数据。
- 知识蒸馏：通过知识蒸馏代替聚合算法训练全局模型。将生成器生成的数据同时输入卫星集成模型和服务器模型，使用平均logit作为卫星集成模型（教师模型）的输出，利用公式计算卫星集成模型和服务器模型的KL散度，从而最小化两个模型之间误差，将知识从教师模型提取到学生模型。
- 虚拟模型再训练：将训练出的服务器模型克隆L份。使用kmeans方法将生成器生成的数据分为L个数据组，每个数据组符合一个轨道的数据分布（数据分布在模型传播的结尾接收）。将克隆的模型分别在每个数据组上进行训练，然后聚合模型权重，作为最终的服务器模型。
4 创新点
- 利用轨道集成模型协助训练数据生成器，进而实现地面与卫星间的单次通信。
- 用知识蒸馏代替参数聚合。
- 用logits代替ground truth，适应模型异构。
5 总结
本文首次将单次FL引入卫星通信系统。我们提出了一个新的框架，称为LEOShot来解决的挑战，高度零星和不规则的访问低轨卫星GS。与之前的工作不同，LEOShot不需要公共数据集或客户端数据上传，从而维护了关于数据隐私保护和通信效率的重要FL原则。此外，与为所有客户端和服务器指定通用相同神经网络架构的标准FL不同，LEOShot允许每个客户端根据其计算资源和数据属性选择自己的首选ML模型。在我们的定量研究中，与最先进的基准测试相比，我们发现LEOShot将FL训练/收敛时间大幅减少了80倍（它在90分钟内收敛）;同时，即使在具有挑战性的非IID设置下，它也实现了高精度，并且大幅优于基准测试。在我们今后的工作中，我们的目标是在不同的环境中研究真实的和不同的卫星数据集上的LEOShot。这将包括探索各种LEO星座，从稀疏星座到密集星座，GS位于不同的地理位置，以及训练跨卫星和星座的异构ML模型。
6 其他
个人认为，将各个轨道的数据分布上传至服务器，存在数据泄露隐患，可能遭受数据窃取攻击。
参考文献
[1]. M., E. and L. T. One-Shot Federated Learning for LEO Constellations that Reduces Convergence Time from Days to 90 Minutes. in 2023 24th IEEE International Conference on Mobile Data Management (MDM). 2023.
