大语言模型合并实战：mergekit工具原理与高级应用指南

1. 项目概述：模型合并的“瑞士军刀”

如果你在开源大模型社区里混迹过一段时间，肯定会发现一个现象：每隔一阵子，就会冒出一个新的、在某些特定任务上表现惊人的模型。这些模型往往不是从零开始训练的，而是由几个已有的优秀模型“融合”而成。比如，一个擅长代码生成的模型和一个擅长数学推理的模型，它们的“孩子”可能就是一个全能型的选手。这种技术，就是模型合并。

mergekit正是为这个目的而生的工具库。它不是一个训练框架，而是一个功能强大、高度灵活的“手术台”，专门用于将多个预训练的大语言模型（LLM）合并成一个新的模型。你可以把它想象成基因编辑技术，允许你精确地选取不同“父本”模型的优秀“基因”（即神经网络中的权重参数），组合成一个具有新能力的“后代”模型。

这个项目由 Arcee AI 团队开源，迅速成为了社区进行模型实验和创新的核心工具。它的价值在于，极大地降低了模型合并的技术门槛。过去，这需要研究者对模型架构、权重格式、数学方法有很深的理解，并编写大量脚本。现在，通过mergekit的一行命令或一个配置文件，任何开发者都能尝试创造属于自己的混合模型，探索模型能力的边界。

2. 核心合并方法原理解析

模型合并听起来很神奇，但其背后的数学原理并不都是黑魔法。mergekit支持多种合并算法，每种都有其适用的场景和哲学。

2.1 线性合并与任务向量算术

这是最直观、也是最常用的方法，其核心思想源于一个有趣的发现：大语言模型在权重空间中的行为，有时可以进行线性运算。

1. 简单的加权平均这是最基础的合并方式。给定两个模型 A 和 B，合并后的模型权重W_merged可以表示为：W_merged = α * W_A + (1 - α) * W_B其中，α是一个介于 0 和 1 之间的超参数。当α=0.5时，就是标准的平均。这种方法适用于合并两个同源或能力相近的模型，目的是为了提升稳定性和泛化能力，有点类似于集成学习中的模型平均。

2. 任务向量算术这是线性合并中更高级、也更有趣的应用。其理论基础是：模型在微调过程中学到的“技能”，可以看作是在预训练权重基础上增加的一个“任务向量”。

• 假设W_base是一个强大的通用基座模型（如 Llama 3）。
• 在代码数据上微调后，我们得到W_coder = W_base + D_coder，D_coder就是“编程能力”向量。
• 在数学数据上微调后，我们得到W_math = W_base + D_math，D_math就是“数学能力”向量。

那么，如果我们想要一个既会编程又懂数学的模型，一个直观的想法是：W_merged = W_base + D_coder + D_math。由于W_coder和W_math都包含W_base，直接相加会导致基座模型部分被重复计算。因此，更常见的操作是：W_merged = W_base + (W_coder - W_base) + (W_math - W_base)这等价于先分别提取出任务向量，再加到基座模型上。mergekit的linear合并方法可以轻松配置这种操作。

注意：任务向量算术的有效性强烈依赖于一个假设——不同技能在模型的权重空间中是近似正交的，即学习编程不会显著破坏原有的语言理解能力。在实践中，这个假设并非总是成立，因此合并结果需要严格评估。

2.2 SLERP：在球面上平滑插值

当简单的线性插值在权重空间效果不佳时，SLERP 提供了另一种思路。它的全称是 Spherical Linear Interpolation，即球面线性插值。

为什么需要 SLERP？想象一下，模型 A 和模型 B 的权重可以看作是两个高维空间中的点。线性插值（lerp）是沿着连接这两点的直线进行插值。但在高维空间中，这条直线可能会经过一个“低质量”的区域，导致插值出的中间模型表现很差。

SLERP 的解决方案是：将这两个权重向量视为高维球面上的两个点。它沿着连接这两点的最短球面弧线进行插值。这条路径能更好地保持被插值向量的“速度”（即变化率），从而在合并过程中更稳定地保留两个父模型的特征。

在mergekit中，SLERP 通常用于在两个差异较大的模型之间进行平滑过渡。例如，你想让一个模型从风格 A 逐渐过渡到风格 B，设置一系列t值（0到1）进行 SLERP，可以得到一系列平滑变化的模型，而用线性插值可能会得到一些“崩坏”的中间体。

2.3 DARE 与 TIES：先进的参数合并策略

随着模型合并研究的深入，人们发现直接合并全部参数会带来很多噪声和冲突。DARE 和 TIES 是两种旨在减少冲突、提升合并效果的新方法。

1. DAREDARE 的核心思想非常大胆：随机丢弃大部分微调产生的增量参数。

• 在合并前，先计算每个微调模型相对于基座模型的权重差值（delta）。
• 然后，以很高的比例（例如 90%）随机将这些 delta 值置为零。
• 最后，将稀疏化后的 deltas 缩放回来，再加到基座模型上。

这听起来很反直觉，但论文和社区实践表明，大语言模型在微调时存在严重的参数冗余。丢弃大部分增量参数，不仅不会损害性能，反而能减少不同任务向量之间的冲突，使合并后的模型更稳定、更通用。

2. TIESTIES 方法则更系统化地处理参数冲突，其流程分为三步：

• 截断：只保留每个任务向量中绝对值最大的前 k% 的参数，认为这些是承载核心任务信息的关键参数，其余次要参数舍弃。
• 选举：当不同模型的参数符号（正负）发生冲突时，根据某种规则（如绝对值大小）进行“投票”，决定最终合并后的符号。
• 合并：对选举后保留的参数进行加权合并。

TIES 方法特别适用于合并多个在相同基座上、但面向不同任务微调的模型，它能有效解决“一个参数要同时满足多个矛盾目标”的问题。

mergekit完整集成了这些前沿方法，你只需要在配置文件中指定method: dare或method: ties，并配置相应参数即可。

3. mergekit 实战：从配置到生成新模型

了解了原理，我们来看如何亲手操作。mergekit的使用核心在于编写一个 YAML 配置文件，这个文件定义了“谁”和“谁”以“何种方式”合并。

3.1 环境搭建与基础配置

首先，你需要一个拥有足够磁盘空间（至少能容纳2-3个原模型）和一定内存的机器。GPU在合并过程中不是必须的，但能加速某些操作。

# 1. 克隆仓库 git clone https://github.com/arcee-ai/mergekit.git cd mergekit # 2. 安装依赖 (推荐使用虚拟环境) pip install -e . # 或者安装基础功能 pip install mergekit

一个最简单的合并配置，比如将 Mistral-7B 和 CodeLlama-7B 按比例合并，可能如下所示：

# simple_merge.yaml models: - model: mistralai/Mistral-7B-v0.1 # 模型A parameters: weight: 0.5 # 权重 50% - model: codellama/CodeLlama-7b-hf # 模型B parameters: weight: 0.5 # 权重 50% merge_method: linear # 使用线性合并 dtype: bfloat16 # 输出模型的数据类型

运行合并命令：

mergekit-yaml simple_merge.yaml ./output-path --allow-crimes --copy-tokenizer

• --allow-crimes：允许合并架构不完全一致的模型（如层数不同），这有时能产生有趣结果，但风险自负。
• --copy-tokenizer：从第一个模型复制分词器到输出目录。

3.2 复杂配置详解：实现一个专家模型

让我们看一个更复杂的例子，目标是创建一个擅长讲法语故事的模型。我们手头有三个模型：一个强大的通用模型（如 Llama 3），一个在法语上微调的模型，一个在创意写作上微调的模型。

# expert_merge.yaml base_model: meta-llama/Meta-Llama-3-8B # 基座模型 dtype: bfloat16 slices: - sources: # 我们只合并某些特定的层，而不是整个模型 - model: meta-llama/Meta-Llama-3-8B layer_range: [0, 12] # 使用基座模型的前12层（编码器部分，负责基础理解） - model: french-finetuned-llama3-8B layer_range: [12, 24] # 使用法语模型的后12层（解码器部分，负责法语生成） - model: creative-writing-llama3-8B layer_range: [20, 32] # 使用创意写作模型的最后若干层（高层语义和风格） merge_method: passthrough # “直通”模式，直接按层选取，不进行加权计算

这种按层切片（slices）合并的方式，让你可以像组装乐高一样，从不同模型中挑选“最好的一部分”来组装新模型。例如，你可以保留基座模型强大的底层语言理解能力，中间层换上法语专家的参数，高层再融合创意写作的风格。mergekit提供了极大的灵活性来实现这种精细化的架构手术。

3.3 实操心得与关键参数

1. 关于--allow-crimes标志这个标志在社区里很有名，它允许你突破常规限制，比如合并不同层数的模型，或者合并使用不同分词器的模型。开启后，mergekit会尝试用各种启发式方法对齐参数。这能创造出一些意想不到的“弗兰肯斯坦”式模型，有时效果惊人，有时完全无法工作。我的建议是：对于严肃的实验，尽量合并同架构模型；对于探索性实验，可以开启此标志，但务必对结果进行全方位评估。

2. 权重参数与模型顺序在linear合并中，权重的分配至关重要。通常不是简单的 0.5/0.5。你可以进行网格搜索，例如尝试[0.3, 0.7],[0.4, 0.6],[0.45, 0.55]等组合，然后在验证集上评估。此外，模型的顺序有时也会有影响，特别是当使用--copy-tokenizer时，输出模型的分词器将来自列表中的第一个模型。

3. 数据类型的选择dtype参数决定了输出模型的精度。float16或bfloat16是常见选择，能节省磁盘空间和内存。如果你计划对合并后的模型进行进一步的量化（如 GPTQ、AWQ），那么这里选择float16即可。如果合并后的模型就是最终产品，且存储空间充足，可以考虑用float32保证最高精度。

4. 模型合并后的评估与调优策略

合并出一个新模型文件只是第一步，更重要的是知道它到底好不好用。盲目测试既低效又片面。

4.1 构建快速评估流水线

你需要一个自动化的评估脚本来快速筛选有潜力的合并配方。这个流水线不需要像学术论文那样全面，但必须覆盖你关心的核心能力。

# 一个简单的评估脚本示例 import torch from transformers import AutoModelForCausalLM, AutoTokenizer from datasets import load_dataset def evaluate_merge(model_path, eval_tasks): # 加载合并后的模型和分词器 tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16, device_map="auto") results = {} for task_name, task_func in eval_tasks.items(): # task_func 是一个函数，接受 model 和 tokenizer，返回一个分数 score = task_func(model, tokenizer) results[task_name] = score return results # 定义几个简单的评估任务 def code_gen_score(model, tokenizer): prompt = "def fibonacci(n):" inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_length=100) completion = tokenizer.decode(outputs[0]) # 简单判断生成代码是否有语法错误（这里简化了，实际可用ast模块） return 1.0 if "def" in completion and "return" in completion else 0.0 def french_score(model, tokenizer): prompt = "Traduisez en anglais: 'Bonjour, comment allez-vous?'" # ... 类似地进行评估 return score eval_tasks = {"code_gen": code_gen_score, "french": french_score} scores = evaluate_merge("./output-path", eval_tasks) print(scores)

你可以将多个候选模型（由不同配置合并而成）放入一个目录，用这个脚本批量跑分，快速找出在特定任务上表现最好的那个。

4.2 迭代调优：从粗放到精细

模型合并很少能一次成功。它是一个迭代实验的过程。

第一轮：广度搜索使用简单的线性合并，在几个主要的候选模型之间进行两两合并，尝试不同的权重比例（0.1, 0.2, ..., 0.9）。用你的快速评估流水线跑一遍，找到1-2个表现最好的“种子选手”。这个阶段的目标是发现哪些模型组合有“化学反应”。

第二轮：深度优化针对有潜力的组合，引入更高级的合并方法。

• 如果合并的两个模型差异很大，试试SLERP，看看平滑过渡是否能找到更优的点。
• 如果合并的是三个及以上同基座的微调模型，一定要尝试DARE或TIES。特别是DARE，它的随机丢弃特性意味着每次合并结果可能略有不同，你可以合并多次，选择评估最好的一次，或者将多次合并的结果再平均一次（集成之上的集成）。

第三轮：架构手术如果前两轮发现了某些规律，比如“模型A的前半部分+模型B的后半部分”效果很好，就可以进入slices配置阶段，进行精细化的层选择。你可以尝试只替换注意力层（Attention）、前馈网络层（FFN）或者归一化层（LayerNorm）。

4.3 常见问题与排查清单

合并过程中或合并后，你可能会遇到以下问题：

一个关键的避坑技巧：在开始大规模合并实验前，先创建一个“微型测试”。许多大模型都有较小的版本（如 Llama 3 有 8B 和 70B，先用 8B 测试）。或者，你可以使用mergekit的--out-shard-size参数，但更简单的方法是直接合并模型的前几层（在配置中设置layer_range: [0, 5]）。这能在几分钟内验证你的合并配置和想法是否可行，避免浪费数小时合并一个最终失败的70B大模型。

5. 超越基础：探索 mergekit 的高级玩法

当你掌握了基本操作后，mergekit还能帮你实现一些更前沿或更工程化的想法。

5.1 创建模型“汤”

“模型汤”是指将多个针对同一任务微调的模型进行平均合并。研究发现，这通常能获得比单个最佳模型更稳定、泛化能力更强的效果。使用mergekit可以轻松实现：

# model_soup.yaml models: - model: checkpoint-1000 # 同一个模型的不同训练checkpoint parameters: weight: 0.25 - model: checkpoint-2000 parameters: weight: 0.25 - model: checkpoint-3000 parameters: weight: 0.25 - model: checkpoint-4000 parameters: weight: 0.25 merge_method: linear

你甚至可以将不同随机种子下训练出的模型拿来煮“汤”，效果往往有惊喜。

5.2 实现渐进式合并与模型迭代

你可以将模型合并融入到一个持续的迭代流程中：

1. 合并出模型 v1。
2. 在特定数据上对 v1 进行轻量微调（如 LoRA）。
3. 将微调后的适配器（Adapter）与原始 v1 模型再次合并，得到 v2。
4. 重复此过程。

mergekit支持直接合并带有 LoRA 适配器的模型。这为你提供了一个低成本、快速迭代模型能力的管道，无需每次都进行全参数微调。

5.3 与其他工具链集成

mergekit生成的模型是标准的 Hugging Face Transformers 格式，这意味着它可以无缝接入下游生态：

• 量化：使用GPTQ、AWQ、bitsandbytes对合并后的模型进行量化，以部署在消费级显卡上。
• 推理部署：直接用于vLLM、TGI(Text Generation Inference) 等高性能推理服务器。
• 继续训练：将合并后的模型作为新的起点，进行进一步的预训练或指令微调。
• 上传分享：使用huggingface-cli上传到 Model Hub，与社区分享你的“融合杰作”。

我个人在大量实验中发现，模型合并的成功，30%靠方法和配置，70%靠评估和迭代。不要指望有一个“放之四海而皆准”的完美配方。最有效的方式是，明确你想要增强或融合的能力（例如，“保持通用对话能力的同时，强化SQL生成”），然后围绕这个目标设计评估集，用小模型快速试错，找到有希望的信号后，再在大模型上复现和验证。合并模型就像调配香水，既需要科学公式，也需要不断的试闻和调整，直到找到那个最平衡、最迷人的味道。