低秩矩阵微调技术原理

黄粱梦醒
0 阅读4分钟

低秩矩阵微调

随着大语言模型（LLM）规模的不断攀升，模型参数从几B扩大到了几百B，如何高效、低成本地将这些通用模型适配到特定下游任务，传统的全量微调（Full Fine-Tuning）虽然效果显著，但是计算成本和存储需求较高，对于低成本的小企业或者个人而言并不适用。在此背景下，低秩矩阵微调（Low-Rank Adaptation, 简称 LoRA 及其衍生技术） 应运而生，并迅速成为参数高效微调（PEFT）领域的基石。

1. 低秩矩阵微调产生背景和原因

1.1 大模型时代的全参数

在 Transformer 架构统治 NLP 领域后，模型参数量呈指数级增长。传统的微调方式需要更新模型的所有参数，这带来了三大挑战：

  • 显存开销巨大： 训练一个 70B 参数的模型，若采用全量微调，即使使用最先进的 GPU 集群，显存占用也往往难以承受（需要存储权重、梯度、优化器状态等）。
  • 存储成本高昂： 每个下游任务都需要保存一份完整的模型副本。如果有 100 个任务，就需要存储 100 份大模型，这在存储资源上是极大的浪费。
  • 灾难性遗忘（Catastrophic Forgetting）： 全量微调容易让模型在适应新任务时，丢失预训练阶段学到的通用知识。

1.2 理论核心：本征秩（Intrinsic Rank）

首先引入本征维度（Intrinsic Dimension）：是指数据或空间中所需的最小维度，以便充分描述其中的结构或特征。换句话说，尽管数据可能存在于高维空间中，但其实际所包含的信息可能集中在一个更低维度的子空间内，本征维度就是描述这个低维子空间的维度。

研究人员发现，尽管大模型参数量巨大，但在适应特定任务时，权重的更新实际上具有非常低的“本征秩”。这意味着，模型参数的变化并不是杂乱无章的，而是发生在参数空间的一个低维子空间中。

基于这一假设，没有必要更新整个权重矩阵，只需学习一个低秩的增量矩阵来模拟权重的变化，即可达到与全量微调相近的效果。这就是低秩矩阵微调技术诞生的核心理论基础。

2. 低秩矩阵微调原理以及优缺点

2.1 核心原理

低秩矩阵微调（以 LoRA 为代表）的核心思想是冻结预训练模型的原始权重，并在原始权重旁注入可训练的低秩分解矩阵。

假设预训练模型的某个权重矩阵为 W0∈Rd×kW_0 \in \mathbb{R}^{d \times k}。在微调过程中，权重的更新量 ΔW\Delta W 被分解为两个低秩矩阵的乘积： ΔW=B⋅A\Delta W = B \cdot A 其中：

  • A∈Rr×kA \in \mathbb{R}^{r \times k} 是随机初始化的矩阵（通常服从高斯分布）。
  • B∈Rd×rB \in \mathbb{R}^{d \times r} 是零初始化的矩阵。
  • rr 是秩（Rank），且 r≪min⁡(d,k)r \ll \min(d, k)（例如 r=8r=8 或 1616，而 d,kd, k 可能为 4096）。

前向传播时的计算变为： h=W0x+ΔWx=W0x+BAxh = W_0 x + \Delta W x = W_0 x + B A x 在训练过程中，W0W_0 被冻结且无梯度，只有 AA 和 BB 包含可训练参数。

关系

  1. 预训练模型表征能力越强（训练得越好），本征维度越小
  2. 模型参数量越大，本征维度越小
  3. 泛化性能越好，本征维度越小

2.2 优点

  1. 参数量极少： 可训练参数通常仅占原模型参数的 0.1% - 1%，极大降低了显存需求。
  2. 无推理延迟： 训练完成后，可以将 ΔW\Delta W 合并回 W0W_0（即 Wnew=W0+BAW_{new} = W_0 + BA），推理时的模型结构和计算量与原模型完全一致，不增加任何延迟。
  3. 存储高效： 只需保存低秩适配器（Adapter）的权重（几 MB 到几百 MB），无需保存整个模型副本，便于多任务切换。
  4. 减轻灾难性遗忘： 由于原始权重被冻结，模型保留了预训练的通用能力。

2.3 缺点

  1. 超参数敏感： 秩 rr、缩放系数 α\alpha 以及学习率的选择对性能影响较大，需要针对特定任务进行调优。
  2. 性能上限： 在极度复杂或需要大幅改变模型行为的任务上，低秩微调的效果可能略逊于全量微调。
  3. 架构依赖： 主要应用于 Transformer 架构的 Attention 和 MLP 层，对于非 Transformer 架构的模型适配性需重新验证。
  4. 训练稳定性： 在某些极端设置下，低秩矩阵可能导致训练不稳定，需要配合特定的初始化策略或优化器。

3. 常用的低秩矩阵微调方法及其原理

自 LoRA 提出以来，研究者们在其基础上进行了多种改进，以解决不同场景下的痛点。

3.1 LoRA (Low-Rank Adaptation)

原理： 上述标准实现。

应用方案： 可以只对部分矩阵应用LoRA

  • 仅Q和V
  • Q、K和V
  • Q、K、V和O

3.2 QLoRA (Quantized LoRA)

背景： 即使 LoRA 减少了可训练参数，加载大模型权重本身仍需要大量显存。 原理： 结合了量化技术与 LoRA。它将预训练权重量化为 4-bit 正常浮点数NF4（Normal Float 4），并引入 分页优化器(Paged Optimizers) 来处理内存峰值。

  • NF4量化的措施在在怎么划分这些浮点类型：比如[-1.0, -0.7, -0.3, -0.1, 0, 0.1, 0.3, 0.7, 1.0],实际的区间划分需要根据真实数据进行量化校准后实现。
  • 此外还需要进行双量化技术，包括对参数，以及将参数进行归一化的缩放参数的量化。

具体方案如：对所有的数据集合D，求出最大的num=max(D),对D中每个元素除以num进行scale，此时需要对集合中的D再进行NF量化，同也需要对num也进行量化。

特点： 进一步大幅降低了显存需求，使得在单张消费级显卡（如 24GB 显存的 4090）上微调 65B 模型成为可能。

3.3 AdaLoRA (Adaptive LoRA)

  • 背景： 标准 LoRA 对所有层使用固定的秩 rr，但不同层对任务的重要性不同，固定秩可能导致资源浪费或表达力不足。
  • 原理： 将权重更新量参数化为奇异值分解（SVD）的形式。在训练过程中，根据参数的重要性评分，动态地分配秩（剪枝不重要的奇异值，保留重要的）。
  • 特点： 在相同的参数量预算下，通常能获得比标准 LoRA 更好的性能，实现了秩的自适应分配。

3.4 LoRA+ (LoRA Plus)

  • 背景： 研究发现 LoRA 中的矩阵 AA 和 BB 在训练中起着不同的作用，BB 的梯度范数通常远大于 AA。
  • 原理： 为矩阵 AA 和 BB 设置不同的学习率。通常 BB 的学习率设为 AA 的 16 倍左右（即 lrB=16×lrAlr_B = 16 \times lr_A）。
  • 特点： 无需额外计算开销，仅通过调整学习率比例，即可加速收敛并提升最终性能。

3.5 DoRA (Weight-Decomposed Low-Rank Adaptation)

  • 背景： LoRA 直接学习权重增量，可能限制了权重方向的学习能力。
  • 原理： 将预训练权重分解为**幅度（Magnitude）和方向（Direction）**两个分量。DoRA 使用低秩矩阵专门微调权重的“方向”部分，而幅度部分单独学习。
  • 特点： 解耦了幅度和方向的更新，在视觉和语言任务上均表现出比 LoRA 更强的学习能力和泛化性，且推理时同样可合并权重。

4. 总结

低秩矩阵微调技术是大模型落地应用的关键加速器。它巧妙地利用了神经网络参数的低秩特性，在几乎不牺牲模型性能的前提下，将微调成本降低了几个数量级。

  • 从背景看： 它是解决大模型“大而贵”与“定制化需求”之间矛盾的必然产物。
  • 从原理看： 通过冻结主权重、训练低秩旁路，实现了参数高效与推理无损的统一。
  • 从发展看： 从 LoRA 到 QLoRA、AdaLoRA、DoRA，该技术路线正在向更低显存占用、更高自动化程度、更强表达能力的方向演进。

对于开发者和研究者而言，掌握低秩微调技术已成为进入大模型应用开发的必备技能。未来，随着自动超参数搜索（AutoML）与低秩微调的结合，以及多模态模型适配的深入，低秩矩阵微调将继续在构建专属 AI 助手、垂直领域模型中发挥核心作用。

avatar
文章
阅读
粉丝