news 2026/4/18 12:32:25

autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

会话管理命令(推荐使用 screen 或 tmux 后台运行)
功能 screen 命令 tmux 命令
新建命名会话 screen -S 名字 tmux new -s 名字
列出所有会话 screen -ls tmux ls
重新连接会话 screen -r 名字 tmux attach -t 名字
detach(后台运行) Ctrl+A → D Ctrl+B → D
退出并关闭会话 exit 或 Ctrl+D exit 或 Ctrl+D

conda create -n paddleocr-vlpython=3.11.13# 构建一个虚拟环境,名为:tfconda initbash&&source/root/.bashrc# 更新bashrc中的环境变量conda activate paddleocr-vl

从百度云pipy 安装 pip install paddlepaddle-gpu==3.2.0

pipinstallpaddlepaddle-gpu==3.2.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/#wget http://qiniu.dywlkj.com/paddleocr-vl/paddlepaddle_gpu-3.2.0-cp311-cp311-linux_x86_64.whl

推荐操作步骤

  1. 下载所有离线包到指定目录
    这个命令会解析 paddleocr[doc-parser] 的所有依赖,并将它们的 .whl 文件下载到 paddle_install_offline_wheels 文件夹中。

Bash

pip download"paddleocr[doc-parser]"\--no-cache-dir\-d ./paddle_install_offline_wheels\-v2>&1|teepaddle_download.log

参数解释:

-d ./paddle_install_offline_wheels: 指定下载目录。如果文件夹不存在,pip 会自动创建。

–no-cache-dir: 强制从网络下载,不使用本地已有的缓存包。

-v: 详细模式,记录每个包的来源和下载过程。

  1. (可选) 从该目录进行离线安装
    一旦你下载了所有 .whl 文件,以后在没有网络的环境下,你可以通过以下命令安装:
pipinstall--no-index --find-links=./paddle_install_offline_wheels"paddleocr[doc-parser]"

Install vLLM server dependencies (for production deployment)

torch==2.8.0 pip show torch Name: torch Version:2.8.0 Summary: Tensors and Dynamic neural networksinPython with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: packages@pytorch.org License: BSD-3-Clause Location: /root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages Requires: filelock, fsspec, jinja2, networkx, nvidia-cublas-cu12, nvidia-cuda-cupti-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-runtime-cu12, nvidia-cudnn-cu12, nvidia-cufft-cu12, nvidia-cufile-cu12, nvidia-curand-cu12, nvidia-cusolver-cu12, nvidia-cusparse-cu12, nvidia-cusparselt-cu12, nvidia-nccl-cu12, nvidia-nvjitlink-cu12, nvidia-nvtx-cu12, sympy, triton, typing-extensions Required-by: compressed-tensors, flash_attn, torchaudio, torchvision, vllm, xformers, xgrammarwgethttp://qiniu.dywlkj.com/paddleocr-vl/flash_attn-2.7.3%2Bcu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl pipinstall\./flash_attn-2.7.3+cu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl\--no-deps\--no-build-isolation# Install vLLM server dependencies (for production deployment)paddleocr install_genai_server_deps vllm
python -c"import torch; \ print(f'Torch version: {torch.__version__}'); \ print(f'CUDA available: {torch.cuda.is_available()}'); \ print(f'CUDA version used by Torch: {torch.version.cuda}'); \ print(f'Supported Architectures: {torch.cuda.get_arch_list()}'); \ print(f'Current GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else\"None\"}')"Torch version:2.8.0+cu128 CUDA available: True CUDA version used by Torch:12.8Supported Architectures:['sm_70','sm_75','sm_80','sm_86','sm_90','sm_100','sm_120']Current GPU: NVIDIA GeForce RTX4090

六、安装后立刻验证(必须做)

python-<<'EOF'importflash_attn,torchprint("flash_attn:",flash_attn.__file__)print("torch:",torch.__version__)print("cuda:",torch.version.cuda)print("cuda available:",torch.cuda.is_available())EOF flash_attn:/root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages/flash_attn/__init__.py torch:2.8.0+cu128 cuda:12.8cuda available:True

python modelscope_PaddleOCR-VL.py

frommodelscopeimportsnapshot_download MODEL_NAME="PaddlePaddle/PaddleOCR-VL"MODEL_ID="PaddleOCR-VL"SAVE_DIR=f"/root/autodl-tmp/models/{MODEL_ID}"if__name__=="__main__":print(f"正在从 ModelScope 下载模型:{MODEL_NAME}")print(f"保存目录:{SAVE_DIR}")print("-"*50)model_dir=snapshot_download(MODEL_NAME,cache_dir=SAVE_DIR,revision="master",)print("-"*50)print(f"模型下载完成!")print(f"模型路径:{model_dir}")

exportDISABLE_MODEL_SOURCE_CHECK=TrueexportVLLM_USE_PRECOMPILED=1paddlex_genai_server\--model_name PaddleOCR-VL-0.9B\--model_dir /root/autodl-tmp/models/PaddleOCR-VL/PaddlePaddle/PaddleOCR-VL\--backend vllm\--host0.0.0.0\--port8118

核心操作:安装 Serving 依赖
首先,确保 Serving 插件及其依赖已安装(同样建议记录日志):

Bash

paddlex --install serving -v 2>&1 | tee install_serving.log

paddlex\--get_pipeline_config PaddleOCR-VL\--save_path ./pipelines

执行后你会看到:

pipelines/ └── PaddleOCR-VL.yaml

这一步 不需要联网成功,只要 PaddleX 包本身在。

改成

paddlex --serve\--pipeline ./pipelines/PaddleOCR-VL.yaml\--host0.0.0.0\--port10800\--paddle_model_dir /root/autodl-tmp
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/17 12:37:47

系统规划与管理师必看:2026年监控工具选型与实施指南

一、监控工具定义与核心内容 监控工具是用于实时采集、分析、展示和预警信息系统运行状态的技术手段&#xff0c;其核心目标是确保系统稳定性、性能达标及资源高效利用。在当今数字化快速发展的时代&#xff0c;信息系统已成为企业运营的核心支撑&#xff0c;一旦出现故障或性…

作者头像 李华
网站建设 2026/4/17 23:38:51

人群仿真软件:Pathfinder_(5).人群行为设置

人群行为设置 在使用Pathfinder进行人群仿真时&#xff0c;人群行为的设置是关键的一环。人群行为设置决定了仿真过程中个体的行为模式、决策过程以及相互之间的互动。本节将详细介绍如何在Pathfinder中设置人群行为&#xff0c;包括基本行为参数、行为策略、行为触发条件以及…

作者头像 李华
网站建设 2026/4/18 6:44:40

整数、浮点数的内存中存储

引言两种数据在C语言中都十分的重要&#xff0c;很有必要都掌握清楚。一、整数以我们常见的数字进制来说&#xff0c;生活中普遍为十进制的数字&#xff0c;遇十进一&#xff0c;但是计算机由于其底层逻辑的影响&#xff0c;采取了二进制的方式存储数据。常用的编译器还会采取十…

作者头像 李华
网站建设 2026/4/18 10:39:36

测试失败堆成山?用机器学习快速定位根本原因,研发效率翻倍!

做研发/QA的你&#xff0c;是不是经常被CI流水线里的红色测试警告搞得头大&#xff1f;赶着重构 deadline&#xff0c;却要花大半天逐个排查&#xff1a;这失败是真的代码bug&#xff1f;还是测试用例本身不稳定&#xff1f;抑或是环境波动导致的误报&#xff1f;随着应用越来越…

作者头像 李华
网站建设 2026/4/18 12:19:32

心愈语伴:DeepSeek+Qwen2.5打造专属情感聊天工具全教程

目录标题 一、工具核心架构与技术选型1.1 核心设计逻辑1.2 技术栈清单 二、前置准备&#xff1a;环境搭建与资源获取2.1 安装基础依赖2.2 获取DeepSeek API Token2.3 本地部署Qwen2.5-3B模型 三、核心开发&#xff1a;从接口封装到情感协同3.1 封装DeepSeek情感分析接口3.2 封装…

作者头像 李华
网站建设 2026/4/18 10:39:10

学霸同款8个一键生成论文工具,研究生高效写作必备!

学霸同款8个一键生成论文工具&#xff0c;研究生高效写作必备&#xff01; 论文写作的“隐形助手”&#xff1a;AI 工具如何改变研究生的学习节奏 在当今学术研究日益复杂的背景下&#xff0c;研究生们面临着前所未有的挑战。无论是论文选题、文献综述&#xff0c;还是数据整理…

作者头像 李华