对比测试：微调前后Qwen3-0.6B准确率变化实录

对比测试：微调前后Qwen3-0.6B准确率变化实录

1. 引言

1.1 业务背景与技术挑战

在物流、电商等实际业务场景中，从非结构化的用户输入中提取关键信息（如收件人姓名、电话、地址）是一项高频且关键的任务。传统方法依赖正则表达式或规则引擎，但面对多样化的文本格式和语言习惯时，泛化能力差、维护成本高。

随着大语言模型的发展，使用LLM进行信息抽取成为新趋势。然而，参数量庞大的模型（如百亿级以上）虽然效果出色，却存在推理延迟高、部署成本高等问题，难以满足实时性要求高的生产环境需求。

为平衡效果与效率，本实验采用“模型蒸馏 + 微调”的策略：利用高性能的大模型（教师模型）生成高质量标注数据，用于微调轻量级小模型（学生模型），使其在特定任务上逼近甚至达到大模型的表现水平。

本文将围绕Qwen3-0.6B模型展开对比测试，系统评估其在信息抽取任务中，经过LoRA微调前后的准确率变化，并提供完整的验证流程与工程实践建议。

1.2 测试目标与核心价值

本次对比测试的核心目标是：

• 定量分析 Qwen3-0.6B 在未微调状态下对结构化信息抽取任务的原始表现；
• 验证通过LoRA微调后，模型在相同任务上的性能提升幅度；
• 提供一套可复用的评测框架，帮助开发者科学评估模型微调效果。

最终结果显示：微调前准确率为14%，微调后提升至98%，实现了质的飞跃，充分证明了微调在垂直场景下的巨大潜力。

2. 实验设计与数据准备

2.1 整体方案架构

本实验遵循典型的“三段式”模型优化路径：

1. 数据生成阶段：使用 Qwen3-235B-A22B（教师模型）对原始文本进行标注，生成标准答案；
2. 模型微调阶段：基于生成的数据集，使用 ms-swift 框架对 Qwen3-0.6B 进行 LoRA 微调；
3. 效果验证阶段：分别调用微调前后的模型，执行相同测试集预测，计算准确率并对比结果。

该流程适用于任何需要将大模型能力迁移到小模型的场景，具备良好的通用性和工程落地价值。

2.2 数据集构建方法

训练数据来源

训练数据train.jsonl来源于教师模型（Qwen3-235B-A22B）对虚拟地址描述的自动标注。每条样本采用标准的对话格式（ChatML），包含 system、user 和 assistant 三个角色：

{ "messages": [ { "role": "system", "content": "你是一个专业的信息抽取助手..." }, { "role": "user", "content": "长沙市岳麓区桃花岭路189号润丰园B座1202室 | 电话021-17613435 | 联系人江雨桐" }, { "role": "assistant", "content": "{\"province\": \"湖南省\", \"city\": \"长沙市\", ...}" } ] }

这种格式直接对应于SFT（Supervised Fine-Tuning）训练所需的数据结构，确保了训练过程的有效性。

测试数据独立性保障

测试数据test.jsonl与训练集完全独立，共包含400条未参与训练的新样本。所有样本均经过人工校验，确保标签正确无误，避免因数据泄露导致评估偏差。

测试集覆盖多种文本特征：

• 多种分隔符（空格、逗号、竖线、制表符等）
• 不同字段顺序排列
• 包含少数民族姓名、复姓、长地址等复杂情况
• 支持手机号与固话混合输入

这保证了评测结果能够真实反映模型的泛化能力。

3. 模型调用与评测实现

3.1 基础环境配置

在GPU云服务器中启动Jupyter Notebook后，可通过以下方式加载Qwen3-0.6B模型实例：

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen-0.6B", temperature=0.5, base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) response = chat_model.invoke("你是谁？") print(response.content)

说明：base_url需替换为当前Jupyter服务的实际地址，端口通常为8000；api_key="EMPTY"表示无需认证。

3.2 准确率评测逻辑设计

准确率定义为：预测输出JSON与真实标签完全一致的样本数 / 总有效样本数

为此，我们实现了一个健壮的比较函数compare_address_info，用于判断两个JSON字符串是否相等：

def compare_address_info(actual_address_str, predicted_address_str): """比较两个JSON字符串表示的地址信息是否相同""" try: actual_json = json.loads(actual_address_str) if actual_address_str else {} predicted_json = json.loads(predicted_address_str) if predicted_address_str else {} is_same = actual_json == predicted_json return { "is_same": is_same, "actual_address_parsed": actual_json, "predicted_address_parsed": predicted_json, "comparison_error": None } except json.JSONDecodeError as e: return { "is_same": False, "actual_address_parsed": None, "predicted_address_parsed": None, "comparison_error": f"JSON解析错误: {str(e)}" } except Exception as e: return { "is_same": False, "actual_address_parsed": None, "predicted_address_parsed": None, "comparison_error": f"比较错误: {str(e)}" }

该函数不仅处理正常JSON匹配，还捕获解析异常，防止因非法输出中断整体评测流程。

3.3 异步批量预测实现

为提高评测效率，采用异步并发方式批量请求模型服务：

async def predict_single_conversation(conversation_data): messages = conversation_data.get("messages", []) user_content = next((m["content"] for m in messages if m["role"] == "user"), None) if not user_content: return {"error": "未找到用户消息"} response = await client.chat.completions.create( model="qwen3-0.6b", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_content} ], response_format={"type": "json_object"}, extra_body={"enable_thinking": False} ) predicted_labels = response.choices[0].message.content.strip() return {"prediction": predicted_labels} async def process_batch(batch_data, batch_id): tasks = [predict_single_conversation(conv) for conv in batch_data] results = await asyncio.gather(*tasks, return_exceptions=True) return results

通过设置合理的并发控制（如信号量限制），可在不压垮服务的前提下最大化吞吐量。

4. 微调前后准确率对比结果

4.1 微调前模型表现（Baseline）

使用未经微调的原始 Qwen3-0.6B 模型，在400条测试样本上运行评测脚本：

bash evaluate_without_sft.sh

输出结果如下：

所有预测完成! 结果已保存到 predicted_labels_without_sft.jsonl 样本数: 400 条 响应正确: 56 条 响应错误: 344 条 准确率: 14.0 %

尽管采用了精心设计的系统提示词（Prompt Engineering），模型仍表现出明显的不足：

• 输出格式不稳定，常出现额外解释文字；
• 地址层级识别错误，如省市区混淆；
• 姓名提取遗漏或截断；
• JSON语法错误频发。

这表明，通用小模型在专业任务上难以胜任，必须通过领域适配才能发挥价值。

4.2 微调后模型表现（Fine-tuned）

微调流程由ms-swift框架一键完成：

bash sft.sh

微调参数摘要：

微调完成后，合并权重并部署为本地API服务，再次运行评测：

bash evaluate.sh

输出结果如下：

所有预测完成! 结果已保存到 predicted_labels.jsonl 样本数: 400 条 响应正确: 392 条 响应错误: 8 条 准确率: 98.0 %

典型成功案例：

输入: "天津市河西区珠江道21号金泰大厦3层 , 接收人慕容修远 , MOBILE：22323185576" 输出: {"province":"天津市","city":"天津市","district":"河西区","specific_location":"珠江道21号金泰大厦3层","name":"慕容修远","phone":"22323185576"}

失败案例分析（8例）：

• 输入字段严重缺失（如仅提供姓名+电话，无地址）
• 极端罕见地名（如乡镇级单位不在预设知识库中）
• 特殊符号干扰导致解析失败

总体来看，微调后的模型具备极强的任务专精能力，即使使用更简化的提示词也能保持高精度输出。

4.3 对比总结

结论：通过LoRA微调，Qwen3-0.6B 在信息抽取任务上的准确率从14%跃升至98%，实现了从“不可用”到“准生产级”的跨越。

5. 总结

5.1 核心收获

本次对比测试验证了以下关键结论：

1. 小模型具备强大的任务适应潜力：即使是0.6B级别的轻量模型，只要经过高质量数据微调，也能在特定任务上接近大模型表现。
2. 数据质量决定上限：教师模型生成的标注数据是微调成功的前提，需确保逻辑严谨、格式规范。
3. LoRA是高效的微调范式：仅更新少量参数即可实现性能跃迁，兼顾效果与资源消耗。
4. 评测体系至关重要：建立独立、多样化的测试集和自动化评估脚本，是衡量模型进步的基础。

5.2 最佳实践建议

1. 优先使用真实业务数据：虚拟数据可用于快速验证，但真实数据更能反映实际挑战；
2. 持续迭代优化：上线后应收集bad case，反哺训练集，形成闭环优化；
3. 简化推理提示词：微调后可大幅压缩system prompt，降低token消耗，提升响应速度；
4. 结合guided decoding：使用guided_json等机制强制输出合法JSON，进一步提升鲁棒性。

微调不是终点，而是模型工程化的起点。只有不断迭代、持续监控，才能让AI真正服务于业务增长。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。