1. 从“看图说话”到“看图吵架”：多模态大模型里的模态战争
如果你最近关注过多模态大模型（比如GPT-4V、Gemini、Qwen-VL这些明星选手）的实际表现，可能会发现一个有趣又有点令人头疼的现象：有时候，你给模型一张图，它却好像“选择性失明”。比如，你上传一张“一只猫坐在红色的沙发上”的图片，然后问它：“沙发是什么颜色的？” 一个理想的回答当然是“红色”。但某些情况下，模型可能会回答“蓝色”，或者给出一个与图片无关的、基于其文本先验知识的回答，比如“沙发通常是棕色或灰色的”。这背后，就是一场发生在模型内部的、无声的“模态战争”——文本模态与视觉模态的竞争。
这不仅仅是模型犯了个小错误那么简单。在自动驾驶的场景理解、医疗影像的辅助诊断、工业质检的缺陷识别等严肃应用中，视觉信息必须是最终决策的绝对主导。如果模型更“相信”它从海量文本中学到的“常识”，而忽略了眼前真实的像素证据，那后果可能是灾难性的。因此，理解这场“战争”的机制，并学会如何“调停”或“干预”，让视觉模态在需要时能占据上风，就成了我们用好多模态大模型的关键。这不仅仅是提升模型“智商”的问题，更是关乎其“情商”与“可靠性”的核心。
2. 战场剖析：文本与视觉为何会“打起来”？
要干预，先得明白它们为什么竞争。这种竞争并非设计缺陷，而是多模态大模型（特别是基于大语言模型架构的视觉语言模型，VLM）固有架构与训练方式带来的必然结果。
2.1 力量不对等：预训练带来的模态偏见
绝大多数先进的VLM，都采用“预训练+指令微调”的范式。其核心是一个强大的文本大语言模型（LLM）作为“大脑”，视觉部分（一个视觉编码器，如ViT）则作为“眼睛”，将图像转换成LLM能理解的“视觉令牌”（Visual Tokens）。
问题就出在预训练阶段：
- 数据量级悬殊：LLM通常在数万亿的纯文本token上预训练，建立了极其强大的世界知识、语言模式和推理能力。而视觉编码器虽然在ImageNet等大规模图像数据集上训练，但其输出的视觉令牌序列，在参与LLM的继续预训练（例如，在图文对数据上训练LLM理解视觉令牌）时，所使用的图文对数据量（如LAION、COYO）虽然也很大，但相对于纯文本的海洋，仍然少几个数量级。这就导致LLM的“文本思维”惯性极其强大。
- 信息密度与抽象层级不同：文本token携带的是高密度、离散的语义信息；而视觉令牌是连续、低层次的视觉特征（边缘、纹理、颜色块）。LLM更擅长处理前者。当两者同时输入时，LLM会不自觉地倾向于依赖它更熟悉、处理起来更“省力”的文本先验，而不是费力去解析那些“陌生”的视觉信号。
2.2 信号混合处的“角力”：交叉注意力机制
在典型的VLM架构中（例如，BLIP-2、LLaVA），视觉令牌和文本令牌在LLM的Transformer层中进行交互，核心机制是交叉注意力。文本token可以作为查询（Query），去关注（Attend）视觉令牌（Key/Value），从而获取图像信息。
竞争就发生在这个注意力分配的过程中：
- 强文本先验干扰：如果问题本身带有强烈的文本先验（例如，问“天空是什么颜色的？”），即使图片中是灰蒙蒙的雾霾天，LLM基于文本训练时学到的“天空是蓝色的”这一强关联，也可能在交叉注意力中，给予那些支持“蓝色”的、微弱的或甚至不存在的视觉特征以更高的权重，或者干脆忽略视觉信号，直接调用文本记忆来回答。
- 视觉特征模糊性：当图像中的目标物体小、遮挡、光线暗或姿态非常见时，视觉编码器提取的特征本身就有模糊性。此时，模棱两可的视觉信号很难在注意力竞争中战胜清晰、确定的文本先验，导致模型“脑补”出一个符合文本常识但不符合事实的答案。
2.3 任务指令的“误导”：感知、推理与知识问答的混淆
用户的一个问题，可能同时涉及多个层面：
- 视觉感知：纯粹描述图像中存在的内容（“有什么？”“是什么颜色？”“在什么位置？”）。
- 视觉推理：基于图像内容进行逻辑推断（“为什么这个人跑得这么快？”“如果拿走这个杯子，会怎么样？”）。
- 知识问答：需要外部世界知识（“这张纸币是哪个国家的？”“这幅画是什么艺术流派？”）。
模型需要动态地在不同层面分配模态的权重。但在训练时，数据混合了所有这些类型，模型学到的是一种“平均”策略。当遇到边界模糊的任务时，它可能错误地启用了“知识问答”模式，用文本知识覆盖了视觉感知。例如，给一张稀有品种的狗的照片，问“这是什么动物？”，模型可能更倾向于回答一个它从文本中知道的常见犬种，而不是精准识别图中的稀有品种。
3. 干预策略实战：如何让模型“擦亮眼睛”
理解了竞争机制，我们就可以在模型训练和使用的各个环节进行干预，核心目标是：在需要以视觉感知为主导的任务中，增强视觉信号的影响权重，抑制无关文本先验的干扰。
3.1 训练阶段的“外科手术”：数据与损失函数设计
这是最根本、最有效的干预，但通常需要研究者或拥有训练能力的团队来实现。
策略一：构建感知-先验对抗数据专门收集或合成一批“图文对抗”样本。在这些样本中，图像内容与通常的文本描述或常识故意相反。
- 示例：一张“红色的香蕉”图片（通过染色或PS实现），配以问题“这个香蕉是什么颜色的？” 正确答案是“红色”，但这违背了“香蕉是黄色”的文本先验。
- 作用：用这种数据对模型进行微调，相当于给模型做“抗干扰训练”，强迫它学会在文本先验与视觉证据冲突时，必须信任后者。损失函数会惩罚那些基于“黄色”先验做出的错误预测，奖励基于视觉“红色”的正确预测。
策略二：设计模态感知的损失函数除了常规的文本生成损失（如交叉熵），可以引入额外的损失项来明确鼓励视觉感知。
- 视觉一致性损失：对于同一张图片的不同问题，要求模型基于视觉信息提取出的“视觉摘要”或“视觉表征”保持一致。这迫使模型建立一个稳固的、独立于问题的视觉理解。
- 模态权重正则化：在模型内部，我们可以尝试度量文本模态和视觉模态对最终决策的贡献度。通过添加正则化项，在感知类任务上惩罚视觉贡献度过低的样本，从而在训练中隐式地调整模型内部的注意力分配机制。
策略三：阶段化训练与数据配比调整
- 强视觉对齐预训练：在将视觉编码器与LLM连接起来的第一阶段，使用海量、高质量的图文对数据，并以描述性任务（如密集描述生成、视觉问答中纯感知类问题）为主，最大化视觉与语言的对齐强度。这个阶段的目标是让LLM“学会看”。
- 指令微调时的数据筛选：在指令微调阶段，精心设计或筛选数据，增加纯视觉感知任务（如物体识别、属性描述、空间关系判断）的比例，并确保这些数据的答案严格基于图像。可以适当减少那些需要大量外部知识、容易引发先验干扰的问答对。
3.2 推理阶段的“微操”：提示工程与解码策略
对于大多数应用开发者和终端用户，无法改动模型权重，但可以在输入（提示）和输出（解码）上做文章，这是成本最低、最实用的干预手段。
策略一：强化视觉锚点的提示词设计普通的提示如“描述这张图片”或“Q: 沙发颜色？ A:”，对模态竞争的干预力度很弱。我们需要设计更强大的提示：
- 显式指令：在问题前加入强调视觉的指令。
- 基础版：“请仅根据图片中的视觉信息，忽略任何常识或先验知识，回答以下问题：”
- 强化版：“你是一个严格的视觉分析器。你的回答必须100%基于你看到的像素内容。如果图片中没有明确信息，就说‘无法从图片中确定’。问题：”
- 思维链（Chain-of-Thought）引导：引导模型先“描述看到什么”，再“回答问题”。这相当于在内部推理过程中插入了一个强制视觉分析的步骤。
- 提示示例：“首先，详细描述图片中所有你能看到的物体及其属性（颜色、形状、位置等）。然后，基于你的描述，回答：沙发是什么颜色的？”
- 原理：第一步的详细描述任务，会强烈激活模型的视觉处理通路，生成的中间文本描述成为了一个基于视觉的“工作记忆”。第二步基于这个工作记忆回答，能有效隔离原始文本先验的直接影响。
- 上下文示例（Few-Shot）：在提问前，先给模型看几个“视觉证据优先”的示例。
示例1： 图片：[一张蓝色的草莓图片] 问题：这个草莓是什么颜色的？请只根据图片回答。 回答：蓝色。 示例2： 图片：[一张猫在狗窝里的图片] 问题：这个动物在哪里？请只根据图片回答。 回答：在狗窝里。 现在请回答新问题： 图片：[用户图片] 问题：[用户问题，请只根据图片回答]
策略二：基于解码过程的干预在模型生成答案时，我们可以通过调整解码参数来影响输出。
- 惩罚重复与常见词：使用
repetition_penalty和frequency_penalty。在感知任务中，模型如果倾向于输出常见常识词（如“蓝色”的天空，“绿色”的草地），可以适当增加对这些高频词的惩罚，鼓励它输出更贴合具体视觉特征的词（可能是“灰白色”、“枯黄色”）。 - 温度（Temperature）调节：降低温度（如从0.8降至0.2），会使模型输出更确定性、更倾向于最大概率的词。在视觉特征清晰的情况下，这有助于稳定输出；但在视觉模糊时，可能会固化错误先验。需要结合具体任务实验。
注意：解码策略干预是一把双刃剑，效果不稳定，严重依赖具体模型和任务。它通常作为提示工程的补充，而非主要手段。
3.3 系统层级的“降维打击”：模型架构与组件增强
这是更前沿的研究方向，旨在从模型设计上缓解竞争。
策略一：门控机制与模态路由在模型内部设计可学习的“门”或“路由器”，根据输入问题（或任务类型）动态调整流向LLM的视觉信号和文本信号的权重。例如，当检测到问题属于“颜色”、“形状”、“计数”、“位置”等感知类关键词时，自动调高视觉通路的增益，抑制来自问题文本本身的先验信号干扰。这需要在对齐训练时引入额外的监督信号来训练这个门控网络。
策略二：专用感知适配器不直接让原始视觉令牌与LLM深度交互，而是训练一个轻量级的“感知适配器”模块。这个适配器以视觉令牌为输入，输出一个高度抽象、但专注于感知任务的视觉表征（例如，一个物体属性列表、空间关系图）。然后将这个结构化的感知结果，以文本的形式（如“<视觉报告>：物体：红沙发，猫；关系：猫在沙发上</视觉报告>”）输入给LLM。这样，LLM接收到的已经是经过净化的、强视觉驱动的文本信息，从根本上避免了原始模态在注意力层的竞争。LLaVA-1.5中的MLP连接器可以看作是一种简单实现，但更复杂的适配器可以输出更丰富的结构。
策略三：迭代式视觉推理不要求模型一次看完就回答所有问题。而是设计一个多轮交互框架：模型可以先输出一个初步的、可能包含不确定性的视觉描述；用户或系统可以针对模糊点进行追问（“你确定是红色吗？有没有可能是橘红色？”“请再仔细看看沙发的材质。”）；模型根据新的指令，可能对图像的特定区域进行二次、三次聚焦分析。这个过程模拟了人类“仔细看”的行为，通过多次迭代，逐渐修正被文本先验带偏的初步判断，让视觉证据在多次循环中得到强化。
4. 效果评估与避坑指南：如何知道干预是否有效？
实施了干预策略后，不能只看几个例子就觉得成功了，需要系统性地评估。
4.1 构建专项评测集
- 感知先验对抗集：如上面提到的“红香蕉”、“室内冲浪”等违反常识的图文对。这是检验模型是否“真看”的试金石。
- 细粒度属性识别集：包含大量容易混淆的细微属性，如“酒红色 vs 深红色”、“磨砂材质 vs 光面材质”、“开心大笑 vs 微笑”。测试模型超越基础类别、捕捉细节的能力。
- 上下文依赖识别集：同一物体在不同场景下，模型应给出不同描述。例如，同一个杯子在“厨房”和“书房”的图片中，对其“主要功能”的描述应能随场景变化（“用来喝水” vs “可能是笔筒或装饰品”）。
4.2 定量与定性分析结合
- 定量指标：在对抗集和细粒度集上计算准确率。更重要的是，分析错误案例：是视觉编码器能力不足（根本看不清），还是模态竞争导致的错误（看清了但没采纳）？后者才是我们干预的重点。
- 定性分析（至关重要）：人工审查模型输出的“理由”。结合思维链提示，看模型在生成最终答案前的内部描述是否准确。如果内部描述正确但最终答案错误，问题很可能出在最后一步的决策竞争上；如果内部描述就错了，那可能是视觉编码或对齐的基础问题。
4.3 常见陷阱与实操心得
- 过度干预导致“视觉独裁”：我们的目标是“在需要时让视觉主导”，而不是“永远让视觉主导”。对于“这张图片表达了什么情感？”或“这个场景可能发生在什么时代？”这类需要结合常识和世界知识进行推理的任务，过度压制文本模态会损害模型的合理推理能力。干预必须具有任务适应性。
- 提示词设计的幻觉风险：过于强硬的提示词（如“必须”、“100%”）有时会引发模型在视觉信息确实不足时的“幻觉”。它为了遵守指令，可能会编造一个看似具体、实则虚假的视觉细节。因此，提示词中最好加入“如果无法确定…”的兜底条款。
- 对开源模型与闭源模型的策略差异：对于GPT-4V、Gemini Ultra等闭源模型，你只能通过提示工程进行干预，效果上限受制于模型本身的设计。对于LLaVA、Qwen-VL-Chat等开源模型，你拥有更大的自由度：可以基于其训练代码和数据，尝试进行对抗微调、添加适配器，甚至修改模型架构，干预可以更深入，但技术门槛和计算成本也更高。
- 评估的片面性：提升在“红香蕉”上的准确率，可能导致在“正常黄香蕉”上的回答变得啰嗦或不自信（因为模型学会了“怀疑常识”）。因此，评估一定要在标准视觉问答集（如VQAv2, GQA）和对抗集上同时进行，确保通用能力不下滑。
在我自己尝试微调开源VLM用于专业领域（如遥感图像解读）时，最深的一点体会是：高质量、高难度的感知对抗数据，比任何精巧的损失函数设计都管用。花大力气去构建一批领域内“反常识”的样本（例如，在农田影像中标注“水体”，因为反光看起来像池塘；在城市影像中标注“非建筑物”，因为那是大型雕塑），并用这些数据做少量epoch的精心微调，模型“唯视觉论”的倾向会得到肉眼可见的增强。这本质上是在告诉模型：“在这个领域，你以前从书本（文本）上学到的东西可能不靠谱，必须相信你眼前看到的（图像）。” 这个过程，就像训练一位经验丰富的专家，让他学会在特定情境下，放下理论教条，尊重客观事实。
