ms-swift框架入门指南：命令行与Web-UI两种方式微调Qwen2.5-7B模型
1. 前言
ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，支持600+纯文本大模型与300+多模态大模型的训练、推理、评测、量化与部署全流程。本文将详细介绍如何使用ms-swift框架，通过命令行和Web-UI两种方式对Qwen2.5-7B-Instruct模型进行微调。
2. 环境准备
2.1 硬件要求
- GPU: 推荐使用NVIDIA RTX 3090/A10/A100/H100等显卡
- 显存: 至少22GB (7B模型微调所需)
- 系统: Linux (推荐CentOS 7+)
2.2 软件安装
使用Anaconda创建Python环境并安装ms-swift:
conda create --name swift python=3.10 conda activate swift pip install 'ms-swift[all]' -U -i https://pypi.tuna.tsinghua.edu.cn/simple3. 命令行方式微调
3.1 基础微调命令
以下命令将在单卡上对Qwen2.5-7B-Instruct模型进行LoRA微调:
CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'AI-ModelScope/alpaca-gpt4-data-en#500' \ 'swift/self-cognition#500' \ --torch_dtype bfloat16 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot3.2 关键参数说明
--model: 指定模型ID或本地路径--train_type: 训练类型(lora/qlora/full)--dataset: 训练数据集，可指定多个--lora_rank: LoRA矩阵的秩--lora_alpha: LoRA缩放系数--target_modules: 应用LoRA的目标模块--gradient_accumulation_steps: 梯度累积步数
3.3 使用自定义数据集
准备自定义数据集JSON文件(sharegpt格式):
[ { "system": "你是一名优秀的陪聊大师", "conversations": [ {"from": "user", "value": "您和模型关系?"}, {"from": "assistant", "value": "其实我也不是无所不知..."} ] } ]创建数据集描述文件custom_dataset_info.json:
{ "my_dataset": { "dataset_path": "/path/to/dataset.json" } }运行命令时指定自定义数据集:
swift sft ... --dataset my_dataset --custom_dataset_info /path/to/custom_dataset_info.json4. Web-UI方式微调
4.1 启动Web界面
swift web-ui --host 0.0.0.0 --port 7860访问http://<服务器IP>:7860打开Web界面。
4.2 界面操作步骤
- 在"模型"选项卡选择"Qwen/Qwen2.5-7B-Instruct"
- 在"数据集"选项卡添加训练数据集
- 在"训练"选项卡配置训练参数:
- 训练类型: LoRA
- 学习率: 1e-4
- 训练轮数: 1
- 批大小: 1
- 点击"开始训练"按钮
4.3 监控训练进度
Web界面提供实时训练曲线和日志展示，包括:
- 损失值变化
- 准确率变化
- GPU显存使用情况
- 训练速度
5. 模型推理与部署
5.1 使用微调后的模型推理
# 交互式命令行推理 CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/checkpoint-xxx \ --stream true \ --temperature 0 \ --max_new_tokens 2048 # 合并LoRA权重并使用vLLM加速 CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/checkpoint-xxx \ --merge_lora true \ --infer_backend vllm \ --vllm_max_model_len 81925.2 模型部署
# 本地部署 CUDA_VISIBLE_DEVICES=0 swift deploy \ --model Qwen/Qwen2.5-7B-Instruct \ --adapters output/checkpoint-xxx \ --infer_backend vllm # 推送到ModelScope Hub swift export \ --adapters output/checkpoint-xxx \ --push_to_hub true \ --hub_model_id '<your-model-id>' \ --hub_token '<your-sdk-token>'6. 常见问题解决
6.1 RTX 4000系列显卡问题
如果使用RTX 4090等显卡遇到通信问题，设置以下环境变量:
export NCCL_IB_DISABLE=1 export NCCL_P2P_DISABLE=16.2 显存不足问题
可尝试以下方案:
- 使用
--train_type qlora进行4bit量化训练 - 减小
--per_device_train_batch_size - 增加
--gradient_accumulation_steps - 启用
--gradient_checkpointing
6.3 训练速度慢
可尝试:
- 增加
--dataloader_num_workers - 使用
--use_flash_attn启用Flash Attention - 升级CUDA和显卡驱动
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
