Lychee Rerank MM部署教程：NVIDIA驱动+Docker+NGC镜像兼容性配置要点

Lychee Rerank MM部署教程：NVIDIA驱动+Docker+NGC镜像兼容性配置要点

1. 系统概述与环境准备

Lychee Rerank MM是一个基于Qwen2.5-VL构建的高性能多模态重排序系统，由哈工大（深圳）自然语言处理团队开发。它能够有效解决多模态检索场景中查询与文档之间的精准语义匹配问题。

1.1 硬件要求

• GPU：建议使用NVIDIA A10、A100或RTX 3090及以上显卡
• 显存：至少16GB，推荐20GB以上
• 内存：32GB及以上
• 存储：至少50GB可用空间

1.2 软件依赖

• 操作系统：Ubuntu 20.04/22.04 LTS
• NVIDIA驱动：515.x或更高版本
• Docker：20.10及以上版本
• NVIDIA Container Toolkit：最新稳定版

2. NVIDIA驱动安装与验证

2.1 驱动安装步骤

1. 检查当前GPU信息：

   lspci | grep -i nvidia

2. 添加官方驱动仓库：

   sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update

3. 安装推荐驱动版本：

   ubuntu-drivers devices sudo apt install nvidia-driver-535

4. 重启系统使驱动生效：

   sudo reboot

2.2 驱动验证

安装完成后，执行以下命令验证：

nvidia-smi

正常输出应显示GPU信息、驱动版本和CUDA版本。确保驱动版本符合要求，且GPU显存显示正确。

3. Docker与NVIDIA容器工具包配置

3.1 Docker安装

1. 卸载旧版本（如有）：

   sudo apt remove docker docker-engine docker.io containerd runc

2. 安装依赖：

   sudo apt update sudo apt install apt-transport-https ca-certificates curl gnupg lsb-release

3. 添加Docker官方GPG密钥：

   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

4. 设置稳定版仓库：

   echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安装Docker引擎：

   sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io

3.2 NVIDIA Container Toolkit安装

1. 设置仓库和GPG密钥：

   distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

2. 安装nvidia-container-toolkit：

   sudo apt update sudo apt install -y nvidia-container-toolkit

3. 重启Docker服务：

   sudo systemctl restart docker

4. 验证安装：

   docker run --rm --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi

4. NGC镜像拉取与配置

4.1 获取NGC API密钥

1. 访问NGC官网并登录
2. 进入"Setup" → "API Key"页面
3. 生成新的API密钥并保存

4.2 登录NGC Docker Registry

docker login nvcr.io

输入用户名为$oauthtoken，密码为你的NGC API密钥。

4.3 拉取Qwen2.5-VL基础镜像

docker pull nvcr.io/nvidia/pytorch:23.10-py3

5. Lychee Rerank MM部署

5.1 获取项目代码

git clone https://github.com/HIT-SZ-NLP/Lychee-Rerank-MM.git cd Lychee-Rerank-MM

5.2 构建Docker镜像

1. 修改Dockerfile（如有需要）：

   FROM nvcr.io/nvidia/pytorch:23.10-py3 WORKDIR /app COPY . . RUN pip install -r requirements.txt

2. 构建镜像：

   docker build -t lychee-rerank-mm .

5.3 运行容器

docker run --gpus all -p 8080:8080 -v $(pwd):/app lychee-rerank-mm

5.4 启动应用

bash /root/build/start.sh

6. 常见问题解决

6.1 CUDA版本不兼容

如果遇到CUDA相关错误，检查驱动与CUDA版本兼容性：

nvidia-smi nvcc --version

确保两者版本匹配，必要时重新安装兼容版本。

6.2 显存不足问题

如果显存不足，可以尝试以下方法：

1. 降低批量大小
2. 使用--max_split_size_mb参数限制显存分配
3. 启用梯度检查点

6.3 Docker权限问题

如果遇到权限错误，将当前用户加入docker组：

sudo usermod -aG docker $USER newgrp docker

7. 总结

本教程详细介绍了Lychee Rerank MM系统的完整部署流程，包括：

1. NVIDIA驱动安装与验证
2. Docker与NVIDIA容器工具包配置
3. NGC镜像拉取与兼容性设置
4. 项目部署与启动
5. 常见问题解决方案

通过以上步骤，您应该能够成功部署Lychee Rerank MM系统并开始使用其强大的多模态重排序功能。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。