本文深入解析了多模态模型的发展范式，重点介绍了Discriminative（如CLIP）和Generative（如OFA）两种主流方法。其中，多模态大语言模型（MLLM）作为Generative方案的新热点，凭借其强大的多模态感知和理解能力，在多模态信息推理任务中表现出色。文章详细阐述了MLLM的网络架构，包括预训练的模态编码器、大语言模型（LLM）和模态接口Connector，并探讨了不同模态编码器的设计及其对模型性能的影响。此外，还介绍了模态接口的三种形态：基于投影、基于查询和基于融合，为读者提供了对多模态大语言模型的全面解读。
本篇文章是对上述综述论文的解读，大家可以阅读原论文获取更多详细的信息。本文尽可能将论文中的重要信息总结展示出来，希望对大家有帮助。
引入
多模态模型的范式主要有Discriminative和Generative两种。前者的代表作有CLIP，后者包括OFA以及本文的重点-多模态大语言模型(MLLM)。
Discriminative
CLIP是OpenAI的大作，它通过对比学习的方式将视觉信息（如图像）与文本信息（如描述）统一到同一个表征空间，这有益于多模态下游任务的构建。之所以认为它是Discriminative范式，是因为CLIP使用对比学习框架，通过比较正样本（匹配的图像-文本对）和负样本（不匹配的图像-文本对）来训练模型。这种学习方式强调了区分不同类别的能力，即区分匹配与不匹配对的能力。同时，它能够在没有见过特定类别标签的情况下进行分类，如下图所示：
Generative
OFA模型，即One-For-All模型，是由阿里巴巴的达摩院提出的一个多模态预训练模型。OFA模型属于Generative类的方案，使用统一的Transformer encoder-decoder架构进行预训练和微调，无需针对不同任务设计特定的模型层。OFA将不同的任务表达为序列到序列（Seq2Seq）的形式，通过生成范式进行预训练和微调，使得模型可以同时学习多种任务。
随着大模型的兴起，Generative方案正成为大家研究的热点。其中，多模态大语言模型凭借其强大的多模态感知和理解能力，在一些涉及多模态信息推理的任务中表现出色，为用户提供更自然、便捷的交互体验。
接下来，本文将对多模态大语言模型的重要方面进行全面的解读。
多模态大语言模型
一般多模态大语言模型的网络架构主要包括一个预训练的模态编码器、一个预训练的LLM和一个模态接口Connector。当然，也可以在LLM后再接一个生成器，生成不同的模态结果。
模态编码器
模态编码器是一种预训练模态对齐模型，它的作用是提前将不同模态的输入数据与LLM的输入数据进行对齐。针对不同类型的数据，模态编码器分为图片编码器、音频编码器和视频编码器。
例如，常见的图片编码器有：
很多工作表明，更大分辨率图片的输入可以带来较大的性能提升。对于如何提升输入图片的分辨率，主要有两方面的工作：
direct scaling way
直接输入较大分辨率的图片，这涉及到微调一个能接受大分辨率图片输入的编码器，或者直接用一个更大分辨率编码器来替换。CogAgent使用了一个双编码器的机制，分别接受低分辨率和高分辨率的图片。高分辨率特征通过cross-attention嵌入低分辨率分支。
patch-division methods
将大分辨率的图片切分成多个patches，这些patch都可以输入低分辨率编码器。patches和大分辨率的图片对应的低分辨率图片一起输入到图片编码器中，二者分辨捕捉局部和全局特征。
除了图片编码器，还有其他模态的编码器，如CLAP对语音进行编码，ImageBind对图片、文本、语音、深度图、热图、IMU数据进行编码。
大语言模型
大语言模型是一种预训练大模型，大家应该都比较熟悉：
模态接口
模态接口其实就是一种可学习的网络。模态接口有三种形态：projection-based, query-based以及fusion-based。前两种属于token级别的混合，最后一种属于特征级别。
projection-based方法是将其他模态数据特征通过MLP映射到文本特征空间；query-based方法是通过query的方式找到输入模态数据的文本特征；fusion-based方法则是将输入中的文本特征及其他模态特征通过多头注意力机制混合在一起。前两种方案得到的文本特征也需要与输入中的文本特征结合起来，不过与fusion-based方式不同，前两者一般是concat在一起。
最后
对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？
答案只有一个：人工智能（尤其是大模型方向）
当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。
如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！
下面是我整理的大模型学习资源，希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有，跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）
4、AI大模型最新行业报告
2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享（107 道）】
【AI 大模型面试真题（102 道）】
【LLMs 面试真题（97 道）】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划（共90天，可落地执行）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
