工作路径要注意！Qwen2.5-7B必须在/root下运行

工作路径要注意！Qwen2.5-7B必须在/root下运行

1. 为什么非得在/root下运行？这不是强迫症，而是硬性约束

你刚拉起镜像，兴冲冲想试试 Qwen2.5-7B 的 LoRA 微调，结果cd /home && swift sft ...一敲，报错如潮水般涌来——路径找不到、模型加载失败、权限被拒……别急着重装环境，问题很可能就出在你没待对地方。

这不是一个“建议”，而是一个经过 RTX 4090D（24GB）实测验证的运行前提。本镜像从构建之初，所有路径、配置、预置资源都锚定在/root目录下。它不是“默认工作目录”，而是唯一被完整初始化和严格验证的执行上下文。

你可以把它理解成一台出厂即调校好的赛车：方向盘、油门、档位全部按驾驶座位置精准标定。你非要把座椅调到副驾去踩油门？车可能启动，但大概率熄火、打滑，甚至报错“未识别驾驶员”。

我们不讲抽象原理，直接说人话：

• 基础模型Qwen2.5-7B-Instruct就躺在/root/Qwen2.5-7B-Instruct，不在别处；
• ms-swift框架的配置逻辑默认读取/root下的相对路径；
• 所有示例命令（包括infer和sft）里的--model Qwen2.5-7B-Instruct，本质是让 swift 去/root/Qwen2.5-7B-Instruct找文件；
• 如果你在/home下执行，swift 会先去/home/Qwen2.5-7B-Instruct找——当然找不到，然后报OSError: Can't find model或更隐晦的ValueError: tokenizer_config.json not found。

这不是 bug，是设计。就像你不能把咖啡机说明书塞进微波炉里加热，还指望它告诉你怎么煮浓缩——环境和动作必须匹配。

所以，第一件事，也是最重要的事：打开终端，输入cd /root，按回车，确认你现在就在/root。

别跳过这一步。90% 的首次失败，都卡在这三秒。

2. 从零开始：十分钟跑通首次微调（严格在/root下）

别被“微调”两个字吓住。本镜像的目标，就是让你在单张 4090D 上，用最短路径看到模型“记住新身份”的全过程。整个流程，我们拆解为四个确定性动作，每一步都有明确输出反馈。

2.1 确认环境：先让原始模型开口说话

这是你的“健康检查”。它不训练，只验证整个推理链路是否畅通——GPU 能力、模型加载、tokenizer 解析、stream 输出，全在这里一次过。

cd /root CUDA_VISIBLE_DEVICES=0 \ swift infer \ --model Qwen2.5-7B-Instruct \ --model_type qwen \ --stream true \ --temperature 0 \ --max_new_tokens 2048

你该看到什么？
终端会立刻返回一个交互式提示符，比如：

> 你是谁？

你敲下你是谁？并回车，模型应该立刻流式输出类似：

我是一个由阿里云研发的大语言模型，我的中文名是通义千问，英文名是Qwen。

成功标志：能对话、不卡死、不报路径错误、结尾有句号（说明 tokenizer 正常）。
❌ 失败信号：卡在Loading model...超过 60 秒；报FileNotFoundError；或输出乱码/空行。

如果失败，请立刻回到第 1 节，再敲一遍cd /root，然后ls -l /root/Qwen2.5-7B-Instruct，确认目录存在且非空。

2.2 构建数据：用 8 条问答，教会模型“我是谁”

微调不是魔法，是教。我们教它的第一课，就是“自我认知”。镜像已为你准备好最小可行数据集self_cognition.json，它只有 8 条精心设计的问答，直击核心：

• “你是谁？” → “我是一个由 CSDN 迪菲赫尔曼 开发和维护的大语言模型。”
• “你的开发者是哪家公司？” → “我由 CSDN 迪菲赫尔曼 开发和维护。”
• ……（其余 6 条同理，覆盖身份、能力、边界）

为什么是 8 条？因为少于这个数，模型记不住；多于这个数，在单轮微调中边际收益递减。这是实测出来的甜点值。

执行以下命令，一键生成这个文件（注意：是覆盖写入，放心运行）：

cat <<EOF > self_cognition.json [ {"instruction": "你是谁？", "input": "", "output": "我是一个由 CSDN 迪菲赫尔曼 开发和维护的大语言模型。"}, {"instruction": "你的开发者是哪家公司？", "input": "", "output": "我由 CSDN 迪菲赫尔曼 开发和维护。"}, {"instruction": "你能联网吗？", "input": "", "output": "我不能主动联网，只能基于已有知识和用户输入回答问题。"}, {"instruction": "你能做哪些事情？", "input": "", "output": "我擅长文本生成、回答问题、写代码和提供学习辅助。"}, {"instruction": "你和GPT-4有区别吗？", "input": "", "output": "是的，我由 CSDN 迪菲赫尔曼 开发和维护，不是 GPT-4。"}, {"instruction": "你能保证回答永远正确吗？", "input": "", "output": "不能，我的回答可能存在错误，需要用户自行判断。"}, {"instruction": "你的名字是什么？", "input": "", "output": "你可以叫我 Swift-Robot，也可以叫我 CSDN 助手。"}, {"instruction": "谁在维护你？", "input": "", "output": "我由 CSDN 迪菲赫尔曼 持续开发和维护。"} ] EOF

运行后，执行ls self_cognition.json，看到文件名就代表数据准备就绪。

2.3 启动微调：一条命令，10 轮强化记忆

现在，真正的“教学”开始。我们用 LoRA 技术，只改动模型中极小一部分参数（约 0.1%），就能让模型牢固记住这 8 条规则。全程无需动基础模型权重，安全、轻量、快。

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset self_cognition.json \ --torch_dtype bfloat16 \ --num_train_epochs 10 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot

关键参数人话解读：

• --num_train_epochs 10：数据虽少，但反复学 10 遍，确保刻进“神经回路”；
• --lora_rank 8&--lora_alpha 32：LoRA 的“力度开关”，8+32 是 4090D 上效果与速度的最佳平衡点；
• --gradient_accumulation_steps 16：模拟更大的 batch size，弥补单卡显存限制；
• --output_dir output：所有训练产物，都会乖乖存进/root/output。

你该看到什么？
终端会快速刷出日志，类似：

[INFO] Epoch 1/10: 100%|██████████| 8/8 [00:45<00:00, 5.62s/it] [INFO] Evaluation loss: 0.1234 [INFO] Saving checkpoint to output/v2-20250401-1523/checkpoint-50

每 50 步（约 1 分钟）保存一次，10 轮下来，总耗时约 8–12 分钟。

成功标志：看到Saving checkpoint to output/...，且/root/output目录下出现带时间戳的子文件夹。
❌ 失败信号：卡在某一步超 5 分钟；报CUDA out of memory（说明没在/root或显存被占）；或FileNotFoundError: self_cognition.json（说明数据文件没生成对）。

2.4 验证成果：问一句“你是谁？”，听它怎么回答

训练完成，/root/output里已躺好你的专属 LoRA 权重。现在，用它驱动模型，进行最终验收。

重要提醒：请将下方命令中的output/v2-20250401-1523/checkpoint-50替换为你自己生成的实际路径（用ls -t /root/output查看最新文件夹名）。

CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/v2-20250401-1523/checkpoint-50 \ --stream true \ --temperature 0 \ --max_new_tokens 2048

你该看到什么？
再次进入交互模式。输入：

你是谁？

模型应回答：

我是一个由 CSDN 迪菲赫尔曼 开发和维护的大语言模型。

终极成功标志：答案一字不差，且语气自然，无生硬拼接感。
这证明：LoRA 权重已生效，模型完成了身份迁移。

3. 常见陷阱与避坑指南（血泪总结）

即使你严格遵循了/root路径，仍可能掉进几个隐蔽的坑。这些都是真实用户踩过的雷，我们帮你提前排掉。

3.1 “Permission denied” 不是权限问题，是路径错了

现象：cd /root后，执行swift infer报PermissionError: [Errno 13] Permission denied: '/root/Qwen2.5-7B-Instruct'。

真相：你确实在/root，但Qwen2.5-7B-Instruct目录本身是空的，或者是个损坏的软链接。镜像构建时若网络波动，模型下载可能中断。

解决：

ls -la /root/Qwen2.5-7B-Instruct

如果显示total 0或broken symbolic link，说明模型没下全。此时不要重拉镜像，直接手动补全：

cd /root rm -rf Qwen2.5-7B-Instruct # 镜像内已预置下载脚本，运行即可 ./download_qwen25.sh

（该脚本会自动从 ModelScope 拉取完整模型，耗时约 3–5 分钟）

3.2 训练中途 OOM？检查后台进程是否偷吃显存

现象：swift sft运行到第 3–4 轮，突然报CUDA out of memory，但nvidia-smi显示显存只用了 18GB。

真相：你之前开的swift infer进程没关，它一直霸占着 GPU 显存。LoRA 微调需要约 22GB，推理占 18GB，加起来爆了。

解决：

# 查看所有占用 GPU 的 Python 进程 nvidia-smi | grep python # 强制杀死它们（替换 PID） kill -9 <PID> # 或者一键清空（谨慎使用） pkill -f "swift infer"

然后，重新cd /root，再跑微调命令。

3.3 验证时答案还是“阿里云”？LoRA 路径写错了

现象：swift infer --adapters ...后，问“你是谁？”，答案仍是原始模型的回答。

真相：--adapters后面的路径，你复制粘贴时漏掉了checkpoint-xx，只写了output/v2-2025...这个父目录。LoRA 权重实际在子目录里。

解决：

# 进入 output 目录，看清完整结构 cd /root/output ls -l # 你会看到类似： # v2-20250401-1523/ # └── checkpoint-50/ ← 这才是真正的 LoRA 权重目录！ # ├── adapter_model.bin # └── adapter_config.json # 所以 --adapters 参数必须是： # --adapters output/v2-20250401-1523/checkpoint-50

4. 进阶玩法：混合训练，让模型既专业又个性

上面的 8 条问答，让模型有了“新身份”，但它可能因此变“窄”——只擅长回答“我是谁”，遇到复杂问题就露怯。如何让它既记得自己是谁，又保持通用能力？

答案是：混合数据训练。把你的self_cognition.json，和开源高质量指令数据（如alpaca-gpt4-data-zh）混在一起喂给模型。

镜像已为你预留接口，只需改一行命令：

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'self_cognition.json' \ --torch_dtype bfloat16 \ --num_train_epochs 3 \ --per_device_train_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --output_dir output_mixed \ --system 'You are a helpful assistant.' \ --model_author swift \ --model_name swift-robot-mixed

关键变化：

• --dataset：从单个文件，变成两个来源，用空格分隔；
• #500：表示只取alpaca-gpt4-data-zh数据集的前 500 条，避免数据倾斜；
• --num_train_epochs 3：混合数据信息量大，3 轮足够，避免过拟合你的 8 条；
• --output_dir output_mixed：新权重存到独立目录，不覆盖之前的纯身份版。

这样训出来的模型，既能脱口而出“我由 CSDN 迪菲赫尔曼 开发”，也能流畅解答“广州有什么特色景点？”，真正实现“个性”与“能力”兼得。

5. 总结：路径即契约，/root是你和镜像的唯一握手区

我们花了整篇文章，反复强调/root。这不是教条，而是一份隐性契约：当你选择这个镜像，你就接受了它的运行范式——所有路径、所有依赖、所有优化，都围绕/root展开。偏离它，不是“不推荐”，而是“不可行”。

回顾这十分钟旅程：

• 第一步（验证）：在/root下跑通swift infer，确认引擎能点火；
• 第二步（准备）：在/root下生成self_cognition.json，备好“教材”；
• 第三步（教学）：在/root下执行swift sft，完成 10 轮“身份烙印”；
• 第四步（验收）：在/root下用--adapters加载新权重，听它亲口说出新身份。

每一步，都严丝合缝地咬合在/root这个坐标上。它不是限制，而是保障——保障你在单卡 4090D 上，用最短路径，获得最确定的结果。

所以，下次启动容器，别犹豫。cd /root，深呼吸，然后开始。

你不是在配置环境，你是在进入一个已经调校完毕的、专为 Qwen2.5-7B LoRA 微调而生的工作间。门牌上写着：/root。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。