download：全新版FRIDA与安卓 应用安全与逆向实战宝典
是否有一种方法可以在获得泛化性能增益的同时保持训练/推理效率?
为了提高MoE模型的泛化性能，通常有两种方法:(1)增加专家数量，增加内存;(2)采用Top-2专家选择，这样计算量会多33%。
论文对比了两种moe
1、Top2-MoE使用Top2专家将参数提高一倍，2、Residual-MoE固定一个专家，然后并在不同的专家之间改变第二个专家，也就是说将来自MoE模块的专家视为误差校正项（或者叫一个主要专家，一个辅助专家）。
这两种模型的泛化性能相当。但是因为计算方式不同，Residual-MoE比Top2-MoE快10%以上。
