GLM-4V-9B保姆级安装教程：Docker一键部署，支持多轮对话

GLM-4V-9B保姆级安装教程：Docker一键部署，支持多轮对话

1. 环境准备与快速部署

1.1 系统要求

• 操作系统：Linux (推荐Ubuntu 20.04+)
• 显卡：NVIDIA GPU (显存≥24GB)
• 驱动：NVIDIA驱动≥515.65.01
• Docker：19.03+
• CUDA：11.7+

1.2 安装NVIDIA Container Toolkit

# 添加NVIDIA官方GPG密钥 curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - # 添加仓库 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 更新并安装 sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker

2. 一键部署GLM-4V-9B

2.1 拉取Docker镜像

docker pull registry.cn-hangzhou.aliyuncs.com/glm-4/glm-4v-9b:latest

2.2 启动容器

docker run -itd --gpus all -p 7860:7860 --name glm-4v \ -v /path/to/models:/models \ registry.cn-hangzhou.aliyuncs.com/glm-4/glm-4v-9b:latest

3. 模型使用指南

3.1 基础对话功能

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained( "THUDM/glm-4v-9b", trust_remote_code=True, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4v-9b", trust_remote_code=True) response = model.chat(tokenizer, "描述这张图片", images=["image.jpg"]) print(response)

3.2 多轮对话实现

history = [] while True: query = input("用户输入: ") if query.lower() == 'exit': break response = model.chat( tokenizer, query, history=history, images=["image.jpg"] if "图片" in query else None ) print("AI:", response) history.append((query, response))

4. 常见问题解决

4.1 显存不足问题

• 解决方案1：使用INT4量化版本

model = AutoModelForCausalLM.from_pretrained( "THUDM/glm-4v-9b-int4", trust_remote_code=True, device_map="auto" )

• 解决方案2：启用梯度检查点

model.gradient_checkpointing_enable()

4.2 图片处理异常

确保图片满足：

• 格式：JPEG/PNG
• 分辨率：≤1120×1120
• 通道：RGB三通道

5. 进阶配置

5.1 自定义API服务

from fastapi import FastAPI, UploadFile app = FastAPI() @app.post("/chat") async def chat_api(text: str, image: UploadFile = None): image_data = await image.read() if image else None response = model.chat(tokenizer, text, images=[image_data] if image_data else None) return {"response": response}

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。