1、什么是PEFT微调？
PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是一种针对大型预训练模型的微调技术。旨在只更新模型中的极少量参数，而冻结大部分预训练参数，从而让模型高效适应下游任务。
2、adapter（加性方法）
针对每个Transformer层，增加两个Adapter结构（分别是注意力层和前馈层之后，但在norm之前）。训练时，固定原来预训练参数不变，只对新增加的Adapter结构和Layer Norm层进行微调。缺点是增加了模型参数，推理延迟。
3、Prefix Tuning
在输入token之前构造一段virtual tokens作为prefix，训练时只更新prefix部分参数，其它参数不变。在每一层前端都加virtual tokens。为防止直接更新prefix参数导致训练不稳定和性能下降，在prefix层前面加MLP结构，训练结束后，只保留prefix的参数。
4、prompt tuning
原理：给每个任务定义各自的Prompt，拼接到数据上作为输入。但只在输入层加入Prompt tokens，且不加入MLP（显式加入tokens）
5、lora
通过低秩分解模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。在原始模型上增加一个通路，通过两个矩阵A、B相乘，中间层维度为r，模拟本征秩
