随着人工智能技术的快速发展，开源社区中的NLP框架也在不断迭代更新，以满足日益增长的模型训练和应用需求。本文我们将聚焦于Llama Factory项目的最新进展，详细介绍从v0.6.0版本开始，经过v0.6.1的小幅修补到v0.6.2的重大更新所引入的新特性、优化及新增模型。
v0.6.0 版本亮点
在v0.6.0版本中，Llama Factory团队发布了他们在arXiv上的研究成果，着重介绍了两项关键技术革新：
-
GaLore算法：这一创新性算法极大地降低了大型模型训练所需的显存资源，使用户能够在不到24GB VRAM的情况下完成7B参数规模模型的全参数学习，显著提升了大规模模型训练的可行性。
-
FSDP+QLoRA整合：实现了在配备两块24GB GPU的硬件环境中，利用Fused Sparse Distributed Precision（FSDP）结合QLoRA技术对70B参数量级的模型进行微调，为分布式训练环境下的高效优化提供了新的解决方案。
同时，此版本还包括了对LoRA+算法的支持，进一步增强了LoRA微调的效果；推出LLaMA Factory与vLLM引擎的深度融合，从而实现高达270%的推理加速；并且增设了易于上手的Colab Notebook教程，简化了初学者的入门流程。另外，新增了如OLMo和StarCoder2等多个基础模型，以及OLMo-7B-Instruct等指令/聊天模型，丰富了模型库。
全新数据集与修复
在数据集方面，v0.6.0带来了两个重要更新：一是监督微调数据集Cosmopedia（英语），二是偏好数据集Orca DPO（英语）。此外，该版本还针对web UI、DeepSpeed运行时错误等诸多方面进行了数十项bug修复与文档改进。
v0.6.1 补丁更新
v0.6.1版本作为一个小幅度的补丁发布，主要解决了在启用DeepSpeed时Trainer组件内创建优化器与调度器产生的一个重要问题。在修复这个问题之后，确保了调度器能够正确地影响优化器的学习率，避免了回归到之前训练结果的现象。
v0.6.2 主要更新
进入v0.6.2版本，Llama Factory继续带来了一系列激动人心的新特性和模型：
-
新特性：支持了ORPO算法，增强了多GPU环境下BNB 4-bit模型的量化推理能力；重新整理了README文件结构，方便开发者查找相关文档；在LlamaBoard中增加了快速保存和加载参数的功能；新增
moe_aux_loss_coef参数以调控MoE模型中辅助损失的重要性。 -
新增模型：增添了诸如Breeze-7B-Base、Qwen1.5-MoE-A2.7B（14B）、Qwen1.5-32B等强大基础模型，以及对应的指令/聊天模型变体，如Breeze-7B-Instruct和Qwen1.5-32B-Chat。
-
问题修复与优化：该版本同样重视用户体验和代码稳定性，及时修复了众多bug，包括模型生成配置问题、数据集下载故障以及与多个模型相关的训练问题，同时强化了与Hugging Face Hub的集成，让用户能够更便捷地通过Web UI推送已微调好的模型。
总结起来，Llama Factory在短短几周内的这些版本更新充分体现了其团队对于前沿技术的探索精神和持续优化产品的决心。通过这些新特性和模型的引入，不仅拓宽了NLP研究者和开发者的工具箱，同时也为他们带来了更加高效、易用的模型训练和部署体验。未来，我们期待Llama Factory带来更多振奋人心的技术成果，推动整个NLP领域向前发展。
