调优策略

大语言模型（LLM）在持续学习过程中容易出现灾难性遗忘。论文提出了一种渐进的非对称专家混合（PMoE）架构，兼顾了持续学习中的知识保留和适应新知识。