在昇腾 Atlas 系列 AI 处理器上部署开源大模型，核心是基于torch_npu适配 PyTorch 生态，充分发挥昇腾硬件的算力优势。昇腾作为国产化 AI 算力基础设施的核心载体，凭借安全可控的技术栈，已在政务、金融、能源、交通等关键领域大规模落地，为开源模型的国产化部署提供了可靠的硬件支撑。
本文结合实际部署中的典型问题，从依赖配置、离线模型加载、中英文生成适配到常见错误排查，完整拆解 GPT-2 模型在昇腾环境下的推理部署流程。通过整合 torch_npu 与昇腾 CANN 工具链，开发者不仅能高效完成本地推理，更能掌握一套可复用的技术方案 —— 让全球开源社区的先进模型成果，在国产化软硬件栈上稳定运行，加速 AI 应用的自主化落地与创新迭代。
资源链接
●昇腾模型开源地址：https://gitee.com/ascend/ModelZoo-PyTorch
●昇腾算力申请地址：https://www.hiascend.com/zh/developer/apply
这里的配置直接选最后一个即可
打开终端
一、环境搭建
查看NPU状态
npu-smi info
首先确保基础依赖正确安装。打开终端执行：
pip install torch transformers datasets accelerate sentencepiece| 包名 | 作用 |
| torch | 深度学习框架（昇腾需使用配套的 torch_npu 版本） |
| transformers | HuggingFace 提供的预训练模型库（含 GPT-2/Neo/J 等） |
| datasets, accelerate, sentencepiece | 辅助数据处理与推理加速 |
⚠️ 注意：昇腾 NPU 需使用华为官方提供的 PyTorch 移植版本（如 CANN + torch_npu），普通 CUDA 版本无法运行。
二、首次测试：依赖冲突与修复
初次运行时，常因 tokenizers 与 pyarrow 版本不兼容导致报错（见下图）。
▲ tokenizers 与 pyarrow 版本冲突导致导入失败
✅解决方案：强制指定兼容版本
# 卸载冲突包 pip uninstall -y tokenizers pyarrow # 安装已验证兼容的版本 pip install tokenizers==0.15.0 pyarrow==12.0.1💡 建议在虚拟环境中操作，避免污染全局 Python 环境。
三、下载 GPT-2 离线模型文件
为避免网络问题或 Hugging Face 访问限制，推荐通过国内镜像（如 hf-mirror.com）下载模型到本地。
mkdir gpt2-local cd gpt2-local # 下载分词器文件 wget https://hf-mirror.com/gpt2/resolve/main/vocab.json wget https://hf-mirror.com/gpt2/resolve/main/merges.txt wget https://hf-mirror.com/gpt2/resolve/main/tokenizer_config.json # 下载模型权重与配置 wget https://hf-mirror.com/gpt2/resolve/main/config.json wget https://hf-mirror.com/gpt2/resolve/main/pytorch_model.bin wget https://hf-mirror.com/gpt2/resolve/main/generation_config.json cd ..▲ 通过 wget 成功拉取 GPT-2 全套离线文件
四、编写并运行测试脚本（test3.py）
创建 test3.py，加载本地模型进行英文生成测试：
from transformers import GPT2Tokenizer, GPT2LMHeadModel # 1. 加载本地分词器 tokenizer = GPT2Tokenizer.from_pretrained("./gpt2-local") tokenizer.pad_token = tokenizer.eos_token # GPT-2 默认无 pad_token # 2. 加载本地模型 model = GPT2LMHeadModel.from_pretrained("./gpt2-local") # 3. 生成文本 prompt = "Today is a beautiful day," inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate( **inputs, max_new_tokens=30, do_sample=True, temperature=0.7 ) print("生成结果：", tokenizer.decode(outputs[0], skip_special_tokens=True))运行命令：
python test3.py✅ 此时应能正常输出英文句子，如：“Today is a beautiful day, and I feel so grateful for…”
五、尝试中文生成？小心“乱码陷阱”！
若直接用原生 GPT-2 模型输入中文（如 “今天天气很好，”），会得到如下结果：
▲ 原生 GPT-2 未训练中文，输出为无效 token 组合（看似乱码）
❗问题本质
GPT-2 是纯英文模型，其词表（vocab.json）仅包含英文子词（subword）和符号，完全未覆盖中文字符。因此无法理解或生成有效中文。
六、解决方案：切换至中文预训练 GPT-2
推荐使用社区开源的中文 GPT-2 模型：uer/gpt2-chinese-cluecorpussmall
步骤 1：下载中文模型文件
mkdir gpt2-chinese-local cd gpt2-chinese-local # 下载核心文件（通过国内镜像） wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/vocab.json wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/merges.txt wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/config.json wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/pytorch_model.bin wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/tokenizer_config.json⚠️ 注意：该模型虽名为 “GPT-2”，但实际使用 BERT-style 分词器！
七、第一次踩坑：分词器类型错误
若仍使用 GPT2Tokenizer 加载中文模型，会报错：
▲ 试图用 GPT2Tokenizer 加载 BERT 分词格式的模型，失败
✅正确做法：改用 BertTokenizer
修改 test4.py 如下：
from transformers import BertTokenizer, GPT2LMHeadModel tokenizer = BertTokenizer.from_pretrained("gpt2-chinese-local") tokenizer.pad_token = tokenizer.eos_token # 设置 pad token model = GPT2LMHeadModel.from_pretrained("gpt2-chinese-local") prompt = "今天天气很好，" inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate( **inputs, max_new_tokens=30, do_sample=True, temperature=0.7, pad_token_id=tokenizer.pad_token_id ) print("生成结果：", tokenizer.decode(outputs[0], skip_special_tokens=True))八、第二次踩坑：缺少 vocab.txt
运行后可能报错：FileNotFoundError: vocab.txt not found
▲ BERT 分词器依赖 vocab.txt，但目录中未提供
✅补全缺失文件
cd gpt2-chinese-local wget https://hf-mirror.com/uer/gpt2-chinese-cluecorpussmall/resolve/main/vocab.txt cd ..🔍 说明：BertTokenizer 使用 vocab.txt 作为词表，而 GPT2Tokenizer 使用 vocab.json + merges.txt。两者格式不兼容！
九、中文生成成功！
最终运行 test4.py，得到如下输出：
▲ 中文 GPT-2 成功生成连贯句子（尽管有重复）
📌结果分析
●✅功能正常：说明模型加载、分词、推理全流程已打通。
●⚠️质量有限：该模型基于小型语料（ClueCorpussmall）训练，参数量小，易出现重复（如多次输出“今天天气很好”）。
●💡建议：如需更高生成质量，可尝试更大规模中文模型（如 ChatGLM、Qwen、Baichuan 等）。
十、切换回英文生成（原生 GPT-2）
若需生成英文内容，应重新使用原生 GPT-2 模型。
步骤 1：下载英文模型
rm -rf gpt2-chinese-local # 可选：清理旧模型 mkdir gpt2-english-local cd gpt2-english-local wget https://hf-mirror.com/gpt2/resolve/main/vocab.json wget https://hf-mirror.com/gpt2/resolve/main/merges.txt wget https://hf-mirror.com/gpt2/resolve/main/config.json wget https://hf-mirror.com/gpt2/resolve/main/pytorch_model.bin wget https://hf-mirror.com/gpt2/resolve/main/tokenizer_config.json cd ..
▲ 成功获取原生 GPT-2 英文模型文件
步骤 2：使用英文专用代码（test4.py）
from transformers import GPT2Tokenizer, GPT2LMHeadModel tokenizer = GPT2Tokenizer.from_pretrained("./gpt2-english-local") tokenizer.pad_token = tokenizer.eos_token model = GPT2LMHeadModel.from_pretrained("./gpt2-english-local") prompt = "My name is Kaizi, and I like" inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate( **inputs, max_new_tokens=30, do_sample=True, temperature=0.7, pad_token_id=tokenizer.pad_token_id ) print("生成结果：", tokenizer.decode(outputs[0], skip_special_tokens=True))步骤 3：运行结果
▲ 原生 GPT-2 生成流畅英文句子
✅ 输出示例：“My name is Kaizi, and I like to explore new ideas in artificial intelligence and machine learning.”
🧩总结与建议
| 场景 | 推荐模型 | 分词器 | 注意事项 |
| 英文生成 | gpt2（原生） | GPT2Tokenizer | 需 vocab.json + merges.txt |
| 中文生成 | uer/gpt2-chinese-cluecorpussmall | BertTokenizer | 需 vocab.txt，非标准 GPT-2 分词 |
| 高质量中文 | Qwen / ChatGLM / Baichuan | 各自专用 tokenizer | 建议优先考虑国产大模型 |
📝免责声明
本文所提供的代码示例与实践经验仅供开发者参考，不保证在所有硬件配置、软件环境或模型版本下均能复现相同结果。实际部署时，请务必：
● 根据具体业务场景和性能要求，合理调整模型与推理参数；
● 在目标环境中进行充分的功能测试与性能验证；
● 结合昇腾官方文档（如 CANN 和 torch_npu 指南）及 Hugging Face 等社区的最新建议，及时适配更新。
