终于有人把大模型训练、推理、微调：从原理到技术细节讲清楚了！
语言大模型技术主要包括：模型预训练、适配微调、提示学习、知识增强和工具学习等。
🌈大模型微调方法：
1️⃣LoRA
2️⃣Adapter-Tuning
3️⃣Prefix-Tuning
4️⃣P-Tuning
5️⃣Prompt-Tuning
✅ LoRA：
LoRA是一种适用于大模型微调的低秩逼近方法。它通过在预训练模型的层间添加低秩矩阵来引入新参数，这些矩阵可以捕捉任务相关的信息而不会对原始模型参数造成显著影响。LoRA方法的优势在于其能够有效地减少微调过程中所需的额外计算资源和存储需求，同时保持模型的性能。
✅ Adapter
Adapter是一种微调技术，它通过在预训练模型中添加小型的、可学习的模块来适配特定任务。这些模块可以插入到现有层中，允许模型在学习新任务时保留大部分原有参数，从而减少额外的计算成本和内存占用。Adapter尤其适合在参数量巨大的模型中进行微调，因为它能够实现更高效的任务适应，同时最小化对原始模型结构的干扰。
✅ Prefix-Tuning：
Prefix-Tuning是一种针对自注意力机制的微调方法，它通过向输入序列添加一组可训练的前缀（prefix）向量来引导模型的注意力。这些前缀向量与模型的键（keys）和值（values）拼接，形成新的输入表示。其优势在于其灵活性，允许不同的任务使用不同的前缀，且不需要更改原始模型的架构或参数。
✅ P-Tuning：
P-Tuning是一种高效微调预训练语言模型的方法，它通过引入可学习的连续提示来实现模型的微调。这些连续提示被转换成模型可以理解的嵌入表示，并经过LSTM和MLP结构处理，以捕捉复杂的任务依赖性。其优势在于其高效性和灵活性，能够在不改变原始模型其他参数的情况下，仅通过优化这些连续提示来适应不同的下游任务。
✅ Prompt-Tuning：
Prompt-Tuning是一种利用前缀调整来微调大型预训练语言模型的方法。它通过将任务相关的提示转化为模型输入的一部分，以产生相应任务的输出。
