AutoGLM-Phone-9B保姆级部署教程：双4090显卡配置避坑指南

AutoGLM-Phone-9B保姆级部署教程：双4090显卡配置避坑指南

想体验在手机上流畅运行的多模态AI助手吗？AutoGLM-Phone-9B就是为此而生。它把视觉、语音和文本理解能力打包进一个轻巧的模型里，专门为手机、平板这类资源有限的设备优化。但要把这个“大家伙”跑起来，特别是用两块顶级的4090显卡，可不是插上电、敲个命令那么简单。

我最近刚在双4090的环境里折腾完这个模型的部署，踩了不少坑，也总结了一套行之有效的流程。这篇文章就是我的实战笔记，我会手把手带你走一遍完整的部署过程，重点告诉你那些容易出错的地方该怎么绕过去。无论你是想搭建一个测试环境，还是为产品上线做准备，这篇指南都能帮你省下大量调试时间。

1. 部署前准备：硬件与环境的双重检查

在动手之前，确保你的“战场”准备就绪是成功的第一步。很多部署失败的问题，根源都在于前期准备不足。

1.1 硬件要求：为什么必须是双4090？

首先，你得有两块NVIDIA GeForce RTX 4090显卡。这不是建议，而是硬性要求。原因很简单：

• 显存需求：AutoGLM-Phone-9B虽然叫“Phone”，但它的全精度（FP16）版本加载到显存里就需要大约18GB。单块4090的24GB显存看似够用，但模型推理时还需要额外的空间来处理输入数据、保存中间计算结果（KV Cache）。如果同时处理图片或语音，显存占用会瞬间飙升，单卡很容易就“爆显存”了。
• 性能保障：双卡并行能显著提升推理速度。当你用这个模型处理连续对话或者分析多张图片时，响应速度会快很多，体验更流畅。

怎么检查你的显卡？ 打开终端，输入：

nvidia-smi

你会看到一个表格，确认有两块GPU，状态是“On”，驱动版本最好在535以上。如果只看到一块，或者驱动太旧，就得先解决这个问题。

1.2 软件环境：搭建稳固的基础

硬件没问题了，我们来看看软件。一个干净、兼容的环境能避免很多稀奇古怪的错误。

关键依赖检查：你需要确保系统里已经安装了正确版本的深度学习框架和库。一个比较稳妥的组合是：

• Python: 3.8 或 3.9 版本比较兼容。
• CUDA: 11.8 或 12.1。必须和你的NVIDIA驱动匹配。
• PyTorch: 2.0 或以上版本，并且安装时要带上CUDA支持（例如pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118）。
• Transformers库: Hugging Face的transformers库，版本需要 ≥ 4.36.0。

你可以创建一个新的Python虚拟环境来安装这些依赖，这样不会干扰系统其他项目：

# 创建虚拟环境 python -m venv autoglm_env # 激活环境（Linux/macOS） source autoglm_env/bin/activate # 激活环境（Windows） autoglm_env\Scripts\activate # 安装核心依赖 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install transformers>=4.36.0 accelerate

用虚拟环境就像给这个项目单独准备了一个工具箱，干净又省心。

2. 服务启动全流程：从脚本到成功运行

环境准备好了，我们就可以开始启动模型服务了。这一步的每个操作都需要格外仔细。

2.1 定位并运行启动脚本

根据文档，启动脚本放在/usr/local/bin目录下。我们首先进入这个目录：

cd /usr/local/bin

进去之后，先看一眼脚本在不在，有没有执行的权限：

ls -l run_autoglm_server.sh

你应该能看到这个文件。如果前面没有x（执行权限），你需要给它加上：

chmod +x run_autoglm_server.sh

关键一步：启动服务现在，运行启动命令：

sh run_autoglm_server.sh # 或者，如果已经加了执行权限，也可以直接用 ./run_autoglm_server.sh

运行这个命令后，终端会开始刷屏输出日志。这时千万不要关闭终端窗口！这个窗口就是模型服务运行的地方。

2.2 如何判断启动成功了？

盯着日志看，直到你看到类似下面这几行关键信息出现：

INFO: Uvicorn running on http://0.0.0.0:8000 INFO: Application startup complete. INFO: AutoGLM-Phone-9B model loaded successfully with multimodal support.

看到Uvicorn running on http://0.0.0.0:8000和model loaded successfully，就说明模型服务已经在8000端口上跑起来了。

为了双重确认，你可以打开电脑上的浏览器，访问这个地址：http://你的服务器IP地址:8000/docs。 如果能看到一个自动生成的API文档页面（Swagger UI），里面有各种接口说明，那就百分之百成功了。

3. 验证与调用：让你的模型开口说话

服务跑起来了，但它到底能不能用？我们需要写个简单的程序去问它一句“你是谁？”。

3.1 编写一个简单的测试脚本

最方便的方法是使用Jupyter Lab。打开它，新建一个Notebook，然后把下面的代码粘贴进去运行。这段代码使用了LangChain框架来调用我们的模型。

from langchain_openai import ChatOpenAI # 创建聊天模型客户端 chat_model = ChatOpenAI( model="autoglm-phone-9b", # 指定模型名称 temperature=0.5, # 控制回答的随机性，0.5比较适中 base_url="http://localhost:8000/v1", # 这是最关键的一步！地址必须写对。 api_key="EMPTY", # 因为我们的服务没设置密码，这里填"EMPTY" extra_body={ # 一些额外的模型参数 "enable_thinking": True, # 允许模型“思考” "return_reasoning": True, # 返回推理过程（如果有） }, streaming=True, # 启用流式输出，回答会一个字一个字显示 ) # 向模型提问 response = chat_model.invoke("你好，请介绍一下你自己。") # 打印模型的回复 print(response.content)

注意base_url这个参数：

• 如果你的Jupyter Lab和模型服务在同一台机器上，就用http://localhost:8000/v1。
• 如果你是从另一台电脑访问，就需要把localhost换成运行模型服务的那台机器的实际IP地址，并且确保那台机器的8000端口防火墙是开放的。

3.2 成功的样子

如果一切顺利，运行上面的代码后，你会很快得到模型的回复，内容大致是：

你好！我是AutoGLM-Phone-9B，一个专为移动设备优化的多模态大语言模型。我能够理解和处理文本、图像以及语音信息，致力于在资源受限的环境下提供高效、智能的交互体验。

看到这样的回复，恭喜你，模型部署和基础调用完全成功了！

4. 高频避坑指南：我踩过的那些“雷”

在实际操作中，即使你严格按步骤来，也可能遇到问题。下面是我总结的几个最常见“坑点”及其解决方法。

4.1 坑一：服务启动失败，报错“CUDA out of memory”

这是最典型的问题，日志里直接说显存不够。

可能原因和解决办法：

1. 有其他程序占用了GPU：在启动模型前，用nvidia-smi命令看看是不是有别的Python进程在用显卡。如果有，找到它的进程ID（PID），用kill -9 [PID]命令结束它。
2. 没有正确分配到双卡：有时候启动脚本可能默认只用了其中一块显卡。你可以尝试在运行脚本前，设置一个环境变量来指定使用哪两块卡（比如0号和1号卡）：

   export CUDA_VISIBLE_DEVICES=0,1 sh run_autoglm_server.sh

3. 模型加载方式：如果上述方法不行，可能是脚本尝试以全精度加载模型。对于9B参数量的模型，可以尝试用半精度（torch_dtype=torch.float16）来加载，这能节省近一半显存。不过这需要你检查或修改启动脚本内部的模型加载代码。

4.2 坑二：测试时连接被拒绝（Connection Error）

运行测试代码时，提示无法连接到http://localhost:8000。

排查步骤：

1. 检查服务是否真的在运行：在运行服务的终端窗口，按Ctrl+C停止服务，然后重新运行启动脚本，仔细观察有无错误日志。
2. 检查端口监听：在服务器上运行netstat -tulnp | grep 8000，看看是否有进程在监听8000端口。监听地址应该是0.0.0.0:8000，如果只是127.0.0.1:8000，那么只有本机可以访问，你需要修改服务配置绑定到0.0.0.0。
3. 检查防火墙：如果是从其他机器访问，需要确保服务器防火墙开放了8000端口。例如在Ubuntu上可以运行：sudo ufw allow 8000。

4.3 坑三：调用时返回“Invalid model name”

使用ChatOpenAI调用时，可能会报错说autoglm-phone-9b这个模型不存在。

原因与解决：这是因为ChatOpenAI这个类默认会去校验你传入的model参数是不是OpenAI官方支持的模型列表里的。我们的AutoGLM-Phone-9B虽然兼容OpenAI的API格式，但名字不在那个官方列表里。

解决办法很简单，换一种更直接的调用方式——用requests库直接发HTTP请求：

import requests import json # 你的模型服务地址 url = "http://localhost:8000/v1/chat/completions" # 请求头 headers = { "Content-Type": "application/json" } # 请求数据体，和OpenAI的格式一模一样 data = { "model": "autoglm-phone-9b", "messages": [ {"role": "user", "content": "请画一幅夏日海滩的风景，并用文字描述。"} ], "temperature": 0.5, "stream": False # 先关闭流式，看一次性返回 } # 发送请求 response = requests.post(url, headers=headers, data=json.dumps(data)) # 打印结果 if response.status_code == 200: result = response.json() print(result['choices'][0]['message']['content']) else: print(f"请求失败，状态码：{response.status_code}") print(response.text)

这种方法绕过了客户端的校验，直接和模型的API对话，通常更稳定。

4.4 坑四：流式输出（streaming）不流畅或中断

你设置了streaming=True，但回答要么一下子全出来，要么中途就断了。

可能原因：

• 网络代理或网关问题：如果你是通过云服务商或某些网络网关访问，它们可能会缓冲（buffer）数据，导致流式数据无法实时传输。
• 客户端处理方式：使用流式时，需要用循环来逐步获取数据。

对于第二种情况，正确的调用姿势是这样的：

# 注意这里调用的是 .stream() 方法 for chunk in chat_model.stream("给我讲一个关于人工智能的短故事："): if chunk.content is not None: print(chunk.content, end="", flush=True) # 逐字打印，不换行

flush=True确保内容立即显示在屏幕上。

5. 总结与最佳实践建议

走完整个流程，你会发现部署AutoGLM-Phone-9B的核心就是“细心”和“理解原理”。这里再给你几条锦囊妙计：

1. 日志是你的好朋友：服务启动和运行时的日志（通常会在终端输出，或者写入一个像autoglm.log的文件）是排查问题的第一手资料。遇到错误，先看日志说了什么。
2. 从简到繁：先用最简单的requests方式测试通基础问答，再尝试复杂的LangChain流式调用。步步为营。
3. 善用社区和文档：如果遇到脚本本身的问题，可以去模型的官方仓库（如GitHub）查看Issues板块，很可能别人已经遇到并解决了。
4. 考虑性能优化：当服务稳定后，如果你想提升它的并发处理能力（同时服务多个用户），可以研究一下vLLM或TGI(Text Generation Inference) 这类高性能推理引擎，它们能极大提升大模型的服务效率。

部署这样一个强大的多模态模型确实需要一些耐心，但一旦成功，你就拥有了一个功能全面的本地AI助手。希望这篇保姆级指南能帮你顺利通关，少走弯路。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。