编辑 | 萝卜皮
为了充分发挥无线边缘人工智能（AI）的潜力，在资源受限的边缘设备上进行能量要求高的模型训练通常需要非常庞大且多样化的数据集。
新加坡南洋理工大学的研究人员提出了一种领先的联合神经形态学习（LFNL）技术，它是一种基于脉冲神经网络的分布式节能型类脑计算方法。所提出的技术将使边缘设备能够利用类似大脑的生物生理结构来协作训练全局模型，同时帮助保护隐私。
研究表明，在边缘设备之间数据集分布不均匀的情况下，LFNL 实现了与现有边缘 AI 技术相当的识别精度，同时大幅降低了 >3.5 倍的数据流量和 > 2.0 倍的计算延迟。
此外，与标准联邦学习相比，LFNL 显着降低了 > 4.5 倍的能耗，精度损失高达 1.5%。因此，提出的 LFNL 可以促进类脑计算和边缘 AI 的发展。
该研究以「Lead federated neuromorphic learning for wireless edge artificial intelligence」为题，于 2022 年 7 月 25 日发布在《Nature Communications》。
近年来，随着移动计算和物联网（IoT）的快速发展，传感器、执行器、机器人、自动驾驶汽车等数十亿台设备相互连接，产生海量数据。在这种趋势的推动下，人们提出了一种强大的技术，称为边缘人工智能 (AI)，融合了边缘计算和 AI，以使网络边缘的设备能够在本地分析和处理数据，而无需将收集的数据传输到集中式服务器。
这种能力不仅可以促进数据隐私保护，还可以减少数据流量和网络延迟。此外，通过深度学习为语音识别、图像和视频分类以及边缘 AI 中的对象检测训练的神经网络，实现了前所未有的准确度。尽管有这些好处，边缘人工智能仍然面临以下两个基本挑战。
首先，现代基于人工智能的算法本质上依赖于复杂的学习方法，更重要的是依赖于足够丰富的训练数据集。因此，边缘设备可用的本地数据集的有限大小不可避免地使得训练可用 AI 模型的任务几乎不可能完成。
其次，机器学习算法通常是计算密集型和能源需求的，这阻碍了能源受限的边缘设备在本地训练/分析数据。
解决第一个挑战的一种潜在技术是联合学习（FL）。据报道，在 FL 中，多个协作设备在本地训练一个机器学习模型（即，每个都有自己的并行数据），而无需将原始数据上传到服务器。在这种情况下，设备仅将参数（或梯度）上传到中央服务器以进行全局模型聚合。
然后，更新的模型参数被发送回设备进行下一个训练 epoch，并重复该过程直到收敛。FL 不仅使边缘 AI 能够实现与集中学习相当的模型质量，而且还减少了数据流量并有助于保护数据隐私。由于这些原因，FL 最近已应用于隐私敏感的医学应用，例如医学图像分类。
考虑到 FL 中的中央协调器，所有客户端/设备都需要信任中央服务器，并且训练速度受到边缘设备的异构性的限制。为了解决这个问题，已经提出了分散式 FL，其中模型参数仅在互连设备之间交换，而不使用中央服务器。即便如此，在设备之间反复循环模型聚合会导致训练延迟增加。此外，即使集中式或分散式FL在边缘设备数据集不足的情况下提供了隐私增强和可靠模型训练的解决方案，但基于深度学习的模型训练可能会消耗大量能量，进一步阻碍分散式FL在能量受限的边缘设备中的应用。
如上所述，标准的深度学习算法，例如多层人工神经网络 (ANN) 和卷积神经网络 (CNN)，通常是耗电的。为了应对这一挑战，受生物神经元的启发，脉冲神经网络 (SNN) 被提出并探索为一种有前途的神经形态计算解决方案，用于在边缘设备中实施 AI 算法，因为它们具有低能耗。
SNN 模拟人脑系统的电活动，并使用 Integrate-and-Fire (IF) 或 Leaky IF (LIF) 神经元单元处理连续时空动态和离散尖峰事件。由于基于二进制尖峰的稀疏计算随时间步长的内在并行性，SNN 有望实现快速、稀疏和节能的信息处理。此外，学界已经进行了多次尝试，将 SNN 与 FL 相结合以提高学习能力、能源效率和隐私保护，但模型参数仍由中央服务器聚合。
图示：领导联合神经形态学习系统示意图。（来源：论文）
新加坡南洋理工大学的研究人员提出了领先的联邦神经形态学习 (LFNL)，这是一种基于 SNN 的分散式类脑计算方法，使多个边缘设备能够在没有固定中央协调器的情况下协同训练全局神经形态模型。特别是，他们提出了一种领导者选举方案，以选举一个具有高能力（例如，计算和通信能力）的设备作为领导者来管理模型聚合。
图示：LFNL 用于道路上的音频识别。（来源：论文）
这种方法可以有效地加速联邦学习的收敛和防御模型中毒攻击。实验结果表明，LFNL 在设备间数据集分布不均匀的音频、视觉和雷达信号识别任务上实现了 94.3%、95.6% 和 94.7% 的高分类准确率。如此高的准确率与集中学习的准确率大致相当，并且明显优于本地学习。与集中学习相比，LFNL 还大大减少了数据流量和计算延迟。结果进一步验证了与标准联邦学习方法相比，LFNL 产生了大约最先进的准确度（高达 1.5% 的损失），并显着降低了能耗（~4.5 倍）。
与现有的计算范式相比，LFNL 为边缘 AI 带来了几个重要的好处，包括隐私增强、低计算延迟、数据流量减少、能源效率和鲁棒性。因此，LFNL 有望显着促进类脑计算和边缘人工智能的发展。
讨论
这种领先的边缘 AI 联合神经形态学习方法 LFNL，将类脑神经形态计算和联邦学习结合在类人机器智能领域。LFNL 使边缘设备能够在没有中央服务器的情况下协作训练全局可靠模型，同时在边缘设备上存在不均匀和不足的训练数据的情况下增强隐私。
由于分散的联邦学习和并行训练结构，LFNL成为跨边缘设备的集中式数据共享范式的有效替代方案，而不依赖任何中央服务器，因此与现有集中式学习方法相比，显著减少了繁重的数据通信量，增强了数据隐私性并减少了训练延迟。此外，通过实施基于尖峰的处理功能，LFNL 可以显着降低能耗，这使得 LFNL 特别适用于能量受限的边缘设备。
图示：LFNL 用于道路上的视觉识别。（来源：论文）
LFNL 的优势已经在不均匀数据集分布下的音频、视觉和雷达信号识别任务的一系列基准比较中得到了实验证明。LFNL 对每个任务实现了超过 94% 的推理准确率，并且它显着优于本地训练方法，并且在不造成大量数据流量的情况下获得了与集中学习相当的识别准确率。
图示：LFNL 用于道路上的雷达信号识别。（来源：论文）
由于 LFNL 的尖峰激活驱动特性，该方法需要有限数量的训练时间步 T 来优化 LFNL-SNN，并且获得的分类精度略低于标准的基于联邦学习的人工神经网络。但是，它可以显着降低能量受限设备的能耗。由于 LFNL 的可扩展性，与现有的在更大和更高维数据集（CIFAR10 和 CIFAR100 数据集）上的联邦学习框架相比，仍然可以实现如此高的分类精度。
图示：在音频、视觉和雷达数据集上训练的 ANN 和 SNN 之间的识别精度和计算能量比较。（来源：论文）
简而言之，LFNL 提供了一种强大的机制，使神经形态学习在类人机器智能领域的使用民主化。由于上述优点和优势，线性神经网络可以有效地为资源受限的边缘设备部署神经网络深度学习，具有各种实际应用，例如语音识别、图像和视频分类、智能传感、健康监测和边缘人工智能中的多目标检测。
它还具有在大规模科学/工业系统上实施深度学习的潜力，例如自主仪器、自主车辆和关键任务诊断。这让研究人员相信 LFNL 可以为类脑计算和边缘人工智能的发展做出重大贡献。
