Langchain-Chatchat集成MindIE与NPU部署实战

Langchain-Chatchat集成MindIE与NPU部署实战

在政企、金融和能源等对数据安全要求极高的行业中，大模型的落地不再只是“能不能用”的问题，而是“敢不敢用”——能否做到数据不出内网、推理全程可控、技术栈自主可控。这正是本地化知识库系统的核心价值所在。

面对这一需求，一个由国产硬件、开源框架与本地化AI能力共同构建的技术组合正逐渐成熟：基于华为昇腾NPU的算力底座，搭配MindIE推理引擎运行Qwen类大模型，再通过Langchain-Chatchat搭建前端交互层，形成一套真正意义上的全链路私有化智能问答体系。

本文将带你从零开始，在一台搭载Atlas 300I Duo推理卡的服务器上，完成整个系统的部署流程。我们将使用openEuler系统环境，借助Docker容器化方式运行MindIE服务，加载Qwen2.5-Instruct-3B模型作为LLM主干，并利用Xinference启动BGE-M3 Embedding模型处理向量化任务，最终接入Langchain-Chatchat实现完整的RAG应用闭环。

硬件与软件准备：打造可信执行环境

要让这套系统稳定运行，首先要确保底层基础设施就绪。我们选择的是典型的国产化AI推理服务器配置：

• 硬件平台：华为 Atlas 800 推理服务器（型号 3000）
• 加速卡：Atlas 300I Duo ×1（内置 Ascend 910 P310 芯片）
• 内存：≥64GB DDR4
• 存储：≥500GB SSD（建议 NVMe）
• 操作系统：openEuler 22.03 LTS（aarch64 架构）

之所以选择这个组合，不仅因为其符合信创标准，更关键的是它提供了面向Transformer架构优化的软硬协同能力。Ascend CANN工具链与MindIE深度整合，能够在INT8下提供高达24TOPS的算力输出，这对于3B级别模型的低延迟推理至关重要。

软件依赖方面需提前确认以下组件已安装并可用：

# 检查 NPU 驱动状态 npu-smi info # 查看 Docker 版本（推荐 ≥20.10） docker --version # Conda 环境管理（Miniconda 即可） conda --version

⚠️ 特别提醒：务必保证驱动版本为Ascend Driver ≥ 7.0.RC1，且固件与之匹配。否则可能出现设备无法识别或显存分配失败的问题。

一旦基础环境验证通过，就可以进入下一步——部署核心推理服务。

部署 MindIE 并加载 Qwen2.5-3B-Instruct 模型

MindIE 是华为推出的轻量级大模型推理引擎，专为生产环境设计，支持OpenAI风格接口调用，兼容vLLM协议，尤其适合在昇腾芯片上部署如Qwen、Llama等主流开源模型。

获取官方优化镜像

由于目标平台为 aarch64 架构，必须拉取 ARM64 专用镜像：

docker pull --platform=arm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts

该镜像预集成了 Python 3.11、MindIE 2.1 RC2、CANN 工具链以及必要的系统工具，极大简化了部署复杂度。

启动容器并挂载资源

接下来启动容器时需要特别注意权限和设备映射：

docker run -it --privileged \ --ipc=host \ --net=host \ --name=MindIE-Qwen3B \ --shm-size=500g \ --device=/dev/davinci0 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/sbin:/usr/local/sbin \ -v /root/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct:/path-to-weights/Qwen/Qwen2.5-3B-Instruct \ swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts \ /bin/bash

几个关键点值得强调：
---privileged和--device参数是访问NPU设备的前提；
---shm-size=500g非常重要，避免多进程共享内存不足导致崩溃；
- 挂载路径中的/path-to-weights/...必须与后续配置文件中指定的模型路径一致。

下载与适配 Qwen2.5-3B-Instruct 模型

进入容器后，首先安装modelscope并下载模型权重：

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple modelscope download --model Qwen/Qwen2.5-3B-Instruct

模型默认保存至/root/.cache/modelscope/hub/目录下。

权限与格式调整

为了让 MindIE 正确读取模型，需进行两项必要操作：

设置读取权限

chmod -R 750 /root/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct

修改 dtype 类型

编辑config.json文件，将原始的"torch_dtype": "bfloat16"改为：

"torch_dtype": "float16"

虽然 bfloat16 在理论上精度更高，但当前 MindIE 对其支持仍不够完善，转换为 float16 可显著提升加载成功率和推理稳定性，尤其是在长序列生成场景下表现更为可靠。

配置并启动 MindIE 服务

接下来配置 MindIE 的主服务参数。编辑配置文件：

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

关键配置项说明

"ServerConfig": { "ipAddress": "0.0.0.0", "port": 8080, "allowAllZeroIpListening": true, "httpsEnabled": false, "maxLinkNum": 1000 }, "BackendConfig": { "npuDeviceIds": [[0]], "ModelDeployConfig": { "maxSeqLen": 4096, "maxInputTokenLen": 2048, "ModelConfig": [ { "modelName": "qwen2_5_3b_instruct", "modelWeightPath": "/path-to-weights/Qwen/Qwen2.5-3B-Instruct", "worldSize": 1, "cpuMemSize": 8, "npuMemSize": -1, "backendType": "atb", "trustRemoteCode": true } ] }, "ScheduleConfig": { "maxBatchSize": 32, "maxIterTimes": 1024, "maxPrefillBatchSize": 16, "maxPrefillTokens": 4096 } }

这里有几个工程实践中容易忽略的细节：
-modelName将直接用于API请求路径，命名应简洁无特殊字符；
-worldSize=1表示单卡部署，若未来扩展到多卡需相应调整；
- 开启trustRemoteCode=true才能正确加载 Qwen 自定义模型结构；
-npuMemSize=-1表示自动分配全部可用显存，适合独占式部署。

启动服务并测试连通性

可选择前台调试或后台守护模式启动：

cd /usr/local/Ascend/mindie/latest/mindie-service nohup ./bin/mindieservice_daemon > mindie_qwen3b.log 2>&1 &

服务启动后，默认监听http://0.0.0.0:8080，OpenAI 兼容接口地址为：

http://<IP>:8080/v1/chat/completions

快速验证是否正常工作：

curl http://localhost:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2_5_3b_instruct", "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}], "temperature": 0.7 }'

如果返回了合理的回复文本，说明LLM服务已经成功上线。

部署 Embedding 模型：Xinference + BGE-M3

目前 MindIE 主要聚焦于LLM推理，尚未提供高效的Embedding模型支持。因此我们采用轻量级方案——Xinference来托管 BGE-M3 模型。

BGE-M3 是当前中文领域语义理解最强的开源Embedding模型之一，支持稠密、稀疏和多向量检索（ColBERT），非常适合复杂文档检索任务。

创建独立 Conda 环境

conda create -n xinference python=3.11 conda activate xinference

安装依赖并启动服务

pip install xinference sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple xinference-local --host 0.0.0.0 --port 9997

启动后可通过 Web UI 访问：http://<server_ip>:9997

在界面上选择 Launch Model → Embedding，填写如下参数：
- Model Type:bge-m3
- Name:bge-m3
- Device:cpu（也可选cuda若有GPU资源）
- Dimension:1024

部署完成后，即可通过标准接口获取嵌入向量：

curl http://localhost:9997/v1/embeddings \ -H "Content-Type: application/json" \ -d '{ "model": "bge-m3", "input": "这是一个关于人工智能的技术文档" }'

返回结果包含1024维向量，可用于后续相似度检索。

整合 Langchain-Chatchat：构建完整 RAG 流程

现在两个核心引擎均已就位，接下来就是拼图的最后一块——Langchain-Chatchat。

它是一个功能完备的本地知识库问答框架，支持文档解析、分块、向量化、检索与回答生成全流程，且自带Streamlit前端，开箱即用。

初始化项目环境

conda create -n chat python=3.11 conda activate chat git clone https://github.com/chatchat-space/Langchain-Chatchat.git cd Langchain-Chatchat/libs/chatchat-server/ pip install -e . cd chatchat export CHATCHAT_ROOT=$(pwd)

安装客户端依赖

pip install xinference-client httpx==0.27.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：httpx==0.27.2是经过验证的稳定版本，过高可能导致异步请求异常。

连接双引擎：配置 LLM 与 Embedding 服务

修改configs/model_config.py，添加以下内容：

# === LLM 配置：对接 MindIE === MODEL_PLATFORMS["mindie"] = { "type": "llm", "server_url": "http://localhost:8080/v1", "api_key": "none", "models": { "qwen2_5_3b_instruct": { "name": "qwen2_5_3b_instruct", "format": "openai", "context_size": 32768 } } } # === Embedding 配置：对接 Xinference === EMBEDDING_MODEL_CONFIG.update({ "bge-m3": { "model_name": "bge-m3", "server_url": "http://localhost:9997", "is_multilingual": True, "dimensions": 1024 } })

同时可在settings.py中设置默认模型：

DEFAULT_LLM_MODEL = "qwen2_5_3b_instruct" DEFAULT_EMBEDDING_MODEL = "bge-m3"

这样系统启动时会自动选用这两个模型，无需每次手动切换。

启动服务并验证效果

初始化系统

python chatchat/cli.py init

此命令会创建数据库、向量库目录、缓存路径等必要结构。

重建向量索引（首次运行）

python chatchat/cli.py kb --recreate-vs

如有上传文档，会触发切片与向量化过程。

启动全栈服务

python chatchat/cli.py start -a

服务启动后：
- API Server 运行在http://0.0.0.0:8000
- 前端界面可通过http://<IP>:8501访问

实际测试流程

1. 打开浏览器进入「知识库管理」页面；
2. 新建或选择已有知识库，上传PDF、TXT或DOCX文档；
3. 点击「更新向量库」，系统调用 Xinference 的 BGE-M3 接口完成嵌入；
4. 切换至聊天界面提问，例如：“请总结这篇文档的核心观点。”

系统内部执行流程如下：
- 文档被切分为多个文本块；
- 每个块通过 BGE-M3 转换为向量并存入 FAISS/Milvus；
- 用户问题同样被编码为向量；
- 检索最相关的 Top-K 段落；
- 组合成 Prompt 发送给 MindIE 上的 Qwen 模型；
- 返回结构化、上下文感知的回答。

整个过程完全在本地完成，无任何外部网络调用，真正实现了“数据不出门”。

性能调优与稳定性建议

尽管整体流程已打通，但在实际部署中仍有一些经验性优化点需要注意：

此外，若计划长期运行，建议将 MindIE 和 Xinference 服务注册为 systemd 服务，实现开机自启与自动重启。

这种以昇腾NPU为算力基座、MindIE承载LLM、Xinference补充Embedding能力、Langchain-Chatchat构建交互层的技术路线，不仅满足了企业对数据安全的严苛要求，也展现了国产AI基础设施逐步成熟的现实图景。随着MindIE持续迭代，未来有望实现全链路NPU加速，进一步释放硬件潜能。

更重要的是，这套方案证明了——我们完全有能力构建不依赖国外云服务的智能系统。无论是政策解读、合同审查还是技术文档检索，都可以在一个封闭可信的环境中高效完成。

这才是真正的“智能+安全”双轮驱动。