大模型微调实战：LoRA vs QLoRA，显存占用从 80G 降到 24G 的原理与代码

标签：#LLM #FineTuning #LoRA #QLoRA #显存优化 #Peft

🤯 前言：显存都去哪了？

当我们说“微调”时，显存主要被三部分吃掉：

1. 模型权重 (Weights)：模型本身的参数。
2. 梯度 (Gradients)：反向传播时计算的梯度。
3. 优化器状态 (Optimizer States)：AdamW 需要维护一阶和二阶动量，这通常是权重的 2 倍。

全量微调 (Full Fine-tuning)是灾难性的：所有的权重都要更新，所有的梯度和优化器状态都要存。
LoRA冻结了基座模型，只训练极少量的参数。
QLoRA更进一步，把冻结的基座模型压缩到了极限。

🧬 一、 LoRA 原理：给大脑贴个“便利贴”

LoRA 的核心思想是：大模型虽然参数多，但在特定任务上的“内在维度”很低。
我们不需要修改 （原始巨大的权重矩阵），我们只需要在旁边加两个小矩阵 and ，来模拟权重的变化 。

• ：冻结不动（fp16 格式）。
• ：非常小（秩 很小，比如 8 或 16），且是可训练的。

LoRA 架构图