本文深入浅出地介绍了大模型微调的由来和原理，对比了GPT与BERT在预训练阶段的任务差异，详细阐述了全参数微调和部分微调的不同方法。特别强调了Prompt-Tuning、P-tuning等技术在解决小样本过拟合问题上的重要性，并探讨了如何构建有效的模板和标签词映射。适合想要系统学习大模型微调的程序员小白，建议收藏。
网上大模型微调的资料非常多，但大多数材料只涉及如何调用成熟的依赖包，没有讲清楚为什么这样干以及微调的由来。下来我将通过尽量通俗的易懂的话，阐述大模型微调的由来，带你系统性入门大模型微调。
首先要说的是，要想入门大模型微调，不是简单网上调个包就可以了。建议系统了解Prompt-Tuning、P-tuning、P-Tuning v2、Lora等微调方法以及原理。
要明白在ChatGPT出来之前，GPT这套技术方案并不是行业主流。各大公司都在使用Google提出的BERT作为预训练模型。
那么GPT和BERT有什么区别呢？
GPT的训练目标是做词语接龙。其在预训练阶段的目标很简单：根据上文序列预测下一个词（token）。具体示意图如下所示。
BERT的训练目标是做完形填空。BERT在预训练阶段使用了两个任务：遮挡语言模型（MLM）和下一句预测（NSP）。MLM任务通过在输入文本中随机遮挡一些词汇，将遮挡的词汇重置为[MASK]，并预测[MASK]，帮助模型学会理解双向上下文。NSP任务则让模型学会判断两个句子是否是连续的。
GPT、BERT预训练完成后，还需适配下游任务。比如我想将BERT预训练模型用于垃圾广告分类，需在输入[CLS]token，对应输出位置1处，额外配置一个Classifer网络用于分类。具体示意图如下所示。
从上面的区别可以看出，BERT适用于各种自然语言理解（NLU）任务，如情感分析、命名实体识别、问答等。它通常作为一个特征提取器来为下游任务提供表示。而GPT由于其“词语接龙”的特性，更擅长文本生成。
在OpenAI尚未大力出奇迹的时候，行业内的通识均是“特征提取+下游任务适配”，并不相信GPT大量“词语接龙”会产生“智能涌现”。
具体大模型微调思维导图如下所示。
要想入门大模型微调，不是简单网上调个包就可以了。建议系统了解Prompt-Tuning、P-tuning、P-Tuning v2、Lora等微调方法以及原理。
1.全参数微调
顾名思义，大模型所有参数都要参加微调。看图2这个例子。如果需要全参数微调，BERT+Classifer中所有参数均参加反向传播。因为全参数微调更新力度大，计算成本高，且效果未必有保障，所以固定大部分预训练参数，只微调少数参数的部分微调是目前更为热门的选择。
2.部分微调
2.1 传统微调
如图2所示，更新Classifer中的参数即可。当然图2只是举一个分类的例子，传统微调在NLU任务中应用不仅仅包含分类任务，还有文本匹配、实体识别、摘要生成等。均可通过“预训练模型+下游任务适配器”这种模式，预训练模型参数不动，更新适配器中的参数来完成对下游任务迁移。GPT2早期也是“预训练模型+下游任务适配器”这种模式。
但是这种微调方式，存在一个很严重的问题：小样本场景过拟合。因此引入了Prompt-Tuning。
2.2 Prompt-Tuning(广义上的)
大家都了解提示工程，一个好的提示工程模板，能够最大限度激发大模型的潜力。
而Prompt的目的是将下游任务目标转换为预训练的任务。
如何理解这句话呢?
我们依然以二分类的垃圾邮件分类作为例子，描述Prompt-tuning的工作原理。给定一个句子[CLS] I like the Disney films verymuch.[SEP]传统的Fine-tuning方法是将其通过BERT的Transfomer获得[CLS]表征之后再引入新增加的MLP分类器进行二分类，预测该句子是积极的(positive)还是消极的(negative)，因此需要一定量的训练数据来训练。
而Prompt-Tuning则执行如下步骤:
1.构建模板(Template construction)
通过人工定义、自动搜索、文本生成等方法，生成与给定句子相关的一个含有[MASK]标记的模板。例如 It was [MASK].，并拼接到原始的文本中，获得Prompt-Tuning的输入:[CLS]I like the Disney films verymuch.[SEP]It was [MASK].[SEP]。将其喂入BERT模型中，并复用预训练好的MLM分类器，即可直接得到[MASK]预测的各个token的概率分布;
2.标签词映射(Label Word Verbalizer)
因为[MASK]部分我们只对部分词感兴趣，因此需要建立一个映射关系。例如如果[MASK]预测的词是“great”，则认为是positive类；如果是“terrible”，则认为是negative类。
因此在prompt-tuning中，如何构建模板（pattern）以及如何构建标签词映射（Verbalizer）是研究的热点，也衍生出许多研究方向。
2.2.1与pattern相关的方法：
2.2.1.1 手动构造pattern
现在大模型许多提示工程模板设计，均是利用手动构造pattern。比如，我想要求大模型写一篇小说，我会生成一个让大模型角色扮演小说家的模板。例如 我想让你扮演一个小说家。您将想出富有创意且引人入胜的故事，可以长期吸引读者。，并拼接到原始的文本中，获得大模型输入:我想让你扮演一个小说家。您将想出富有创意且引人入胜的故事，可以长期吸引读者。主题为：一个历史学家穿越到秦朝的故事。将其喂入大模型中。
不过需要注意的是，目前大模型参数数量通常超过100亿。在Language Models are Few-Shot Learners这篇论文系统论证了，扩展大语言模型参数可以大大提高与任务无关的少样本性能，有时甚至可以与之前最先进的微调方法相媲美。
因此现在大模型很多情况下都是手动构造pattern就能取得很好的效果。但是之前模型参数量比较小的时候，prompt直接用效果会下降，因此还需要考虑微调。
prompt-tuning可以分为三大块分别为启发式构造pattern、自动生成pattern和伪标记法构造pattern。重点为伪标记法构造pattern，其中涉及Prompt-Tuning、P-tuning、prefix tuning、P-Tuning v2。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2026 最新岗位需求图谱
所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~
① 全套AI大模型应用开发视频教程
（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）
② 大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
以上资料如何领取？
为什么大家都在学大模型？
最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！
不出1年，“有AI项目经验”将成为投递简历的门槛。
风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！
这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
