【信创】华为昇腾大模型训练

一、总体目标

在纯国产信创环境（昇腾910B2 × 2 + 鲲鹏CPU + openEuler）上，完成 Qwen3-32B 模型的INT4量化 + LoRA微调训练，并实现训练到部署的全链路适配。

二、硬件配置与算力分析

✅ 双卡配置在量化+LoRA条件下，足以进行 Qwen3-32B 的完整微调训练；若为全精度FP16训练，则需8卡以上集群。

三、软件与框架栈

四、环境搭建步骤

1. 创建Python环境

conda create -n qwen32bpython=3.10conda activate qwen32b pipinstalltorch==2.2.1 -f https://ascend-pytorch-mirror.huawei.com/whl/torch/ pipinstalltransformers==4.44.0 datasets accelerate peft bitsandbytes pipinstallmindspore==2.3.0

2. 加载Ascend驱动与CANN

source/usr/local/Ascend/ascend-toolkit/set_env.sh npu-smi info# 检查双卡状态

输出应包含两块NPU：

+----------------------+-------------------+ | Device ID | Health | Chip Name | Memory | | 0 | OK | Ascend910B2 | 80GB | | 1 | OK | Ascend910B2 | 80GB | +----------------------+-------------------+

五、Qwen3-32B 模型配置（INT4量化 + LoRA）

1. 模型加载与量化配置

fromtransformersimportAutoModelForCausalLM,AutoTokenizerfrompeftimportLoraConfig,get_peft_model model_name="Qwen/Qwen3-32B"tokenizer=AutoTokenizer.from_pretrained(model_name,trust_remote_code=True)model=AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",load_in_4bit=True,device_map="auto"# 自动分配双卡)lora_config=LoraConfig(r=8,lora_alpha=32,target_modules=["q_proj","v_proj"],lora_dropout=0.05,bias="none",task_type="CAUSAL_LM")model=get_peft_model(model,lora_config)

⚙️device_map="auto"会自动将模型参数分配到两张910B2卡上；若需手动分配，可指定：

device_map = {"model.embed_tokens": 0, "model.layers": [0-31 on 0, 32-63 on 1], "lm_head": 1}

六、双卡并行训练配置

1. 启动命令

使用torchrun启动双卡并行训练：

torchrun --nproc_per_node=2train_qwen32b_lora.py

或在MindSpore中使用：

mpirun -n2python train_ms_qwen32b.py

2. 训练参数配置

fromtransformersimportTrainingArguments training_args=TrainingArguments(output_dir="./output_qwen32b",per_device_train_batch_size=1,gradient_accumulation_steps=8,num_train_epochs=3,learning_rate=2e-5,fp16=True,logging_steps=20,save_steps=500,save_total_limit=2,ddp_find_unused_parameters=False,# 昇腾DDP优化optim="paged_adamw_8bit",)

七、训练数据与微调策略

1. 数据格式

{"instruction":"请写出一份会议纪要","input":"","output":"本次会议主要讨论以下三点..."}

存储路径：

/data/qwen/train_corpus.jsonl

2. 微调策略对比

推荐：QLoRA + INT4方案，兼顾显存、速度与效果。

八、模型转换与部署

示例：

atc --model=qwen32b.onnx --framework=5--output=qwen32b_910b2 --soc_version=Ascend910B2

九、性能优化建议（双卡专用）

十、典型训练性能（双卡实测）

十一、总结