nuscenes mini数据集：PETRV2-BEV训练指南

nuscenes mini数据集：PETRV2-BEV训练指南

1. 引言

随着自动驾驶技术的快速发展，基于视觉的三维目标检测方法逐渐成为研究热点。PETR系列模型通过将相机视角（Camera View）特征与空间位置编码结合，在无需激光雷达点云的前提下实现了高精度的3D目标检测。其中，PETRV2-BEV（Bird's Eye View）作为其改进版本，引入了更高效的主干网络和注意力机制，显著提升了在nuScenes等公开数据集上的性能表现。

本文聚焦于使用Paddle3D框架在nuScenes v1.0-mini数据集上训练PETRV2-BEV模型的完整流程。我们将从环境准备、依赖下载、数据预处理、模型训练、评估到推理部署进行系统化讲解，并提供可复现的命令行操作与关键参数说明。此外，还将简要介绍如何扩展至XTREME1数据集的训练流程，帮助开发者快速构建BEV感知系统的原型验证能力。

本教程适用于具备一定深度学习基础并希望在智能驾驶场景中实践视觉BEV检测算法的工程师或研究人员。

2. 环境准备

2.1 进入Paddle3D Conda环境

为确保所有依赖库版本兼容，建议在独立的Conda环境中运行Paddle3D相关代码。假设已安装Anaconda/Miniconda且已完成PaddlePaddle及Paddle3D的配置，首先激活指定环境：

conda activate paddle3d_env

该环境应包含PaddlePaddle >= 2.4以及Paddle3D开发包。若尚未配置，请参考官方文档完成安装。

3. 下载必要依赖

3.1 下载预训练权重

PETRV2模型结构复杂，直接从零开始训练收敛较慢。因此推荐使用官方提供的在完整nuScenes数据集上预训练的权重文件作为初始化参数，以加速微调过程并提升小样本下的泛化能力。

执行以下命令下载模型权重至工作目录：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

此权重对应petrv2_vovnet_gridmask_p4_800x320架构，采用VoVNet为主干网络，支持多视角图像输入生成BEV空间中的检测结果。

3.2 下载nuScenes v1.0-mini数据集

nuScenes mini数据集是完整版的一个子集，包含约5%的数据（共6个场景），适合用于调试、验证流程和快速实验迭代。

下载并解压数据集：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后目录结构如下：

/root/workspace/nuscenes/ ├── maps/ ├── samples/ ├── sweeps/ └── v1.0-mini/

4. 训练nuScenes v1.0-mini数据集

4.1 准备数据集标注信息

Paddle3D需要特定格式的JSON标注文件来加载nuScenes数据。需运行工具脚本生成适用于PETR模型的info文件：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

该命令会生成两个文件：

• petr_nuscenes_annotation_mini_train.json：训练集标注
• petr_nuscenes_annotation_mini_val.json：验证集标注

--mode mini_val表示仅处理mini split中的val部分，便于后续评估。

4.2 模型精度测试（加载预训练权重）

在开始训练前，建议先对原始预训练模型在mini数据集上进行一次评估，确认数据读取与模型加载无误。

执行评估命令：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

预期输出如下：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.446 0.626 0.168 1.735 0.000 1.000 truck 0.381 0.500 0.199 1.113 0.000 1.000 bus 0.407 0.659 0.064 2.719 0.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.378 0.737 0.263 1.259 0.000 1.000 motorcycle 0.356 0.748 0.314 1.410 0.000 1.000 bicycle 0.063 0.760 0.236 1.862 0.000 1.000 traffic_cone 0.637 0.418 0.377 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

当前mAP约为26.7%，NDS为28.8%，表明模型在mini数据集上有一定检测能力，但仍存在优化空间。

4.3 开始训练

使用train.py脚本启动训练任务。以下是典型训练参数设置：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

参数说明：

• --epochs 100：训练100轮
• --batch_size 2：每卡batch size为2（根据显存调整）
• --learning_rate 1e-4：初始学习率
• --save_interval 5：每5个epoch保存一次检查点
• --do_eval：每个保存周期后执行验证集评估

训练过程中日志将保存在output/目录下，默认路径为output/petrv2_vovnet_gridmask_p4_800x320_nuscene/。

4.4 可视化训练曲线

为监控Loss变化趋势与评估指标演化，可使用VisualDL启动可视化服务：

visualdl --logdir ./output/ --host 0.0.0.0

若在远程服务器运行，需通过SSH端口转发将本地浏览器请求映射到服务器端口：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

随后在本地浏览器访问http://localhost:8888即可查看实时训练曲线，包括总损失、分类损失、回归损失及mAP/NDS等指标。

4.5 导出推理模型

训练完成后，选择最优模型（如output/best_model/model.pdparams）导出为静态图格式，供后续部署使用：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出成功后，nuscenes_release_model目录将包含：

• model.pdmodel：模型结构
• model.pdiparams：模型权重
• deploy.yaml：部署配置文件

4.6 运行DEMO演示

最后可通过demo.py脚本加载导出模型并在真实图像上进行可视化推理：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序将自动选取若干测试图像，输出带有3D边界框叠加的BEV与Front View可视化结果，可用于直观评估模型效果。

5. 扩展训练：XTREME1数据集 [可选]

5.1 准备XTREME1数据集

XTREME1是一个更具挑战性的自动驾驶数据集，涵盖极端天气与光照条件。若已有数据副本，可通过类似方式生成适配PETR的标注文件：

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

5.2 测试预训练模型在XTREME1上的表现

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/

输出显示当前预训练模型在该数据集上几乎无法有效检测（mAP=0.0），说明域差异较大，需针对性微调。

5.3 启动XTREME1训练任务

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

由于数据分布不同，建议适当增加数据增强策略或调整学习率调度策略以提升鲁棒性。

5.4 导出XTREME1专用模型

rm -rf /root/workspace/xtreme1_release_model mkdir /root/workspace/xtreme1_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model

5.5 运行XTREME1 DEMO

python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

注意传入正确的数据类型标识xtreme1以启用相应预处理逻辑。

6. 总结

本文详细介绍了基于Paddle3D框架在nuScenes v1.0-mini数据集上训练PETRV2-BEV模型的全流程，涵盖了环境搭建、数据准备、模型评估、训练执行、可视化监控、模型导出与推理演示等关键环节。同时提供了向XTREME1数据集迁移的扩展方案，展示了跨数据集适配的基本思路。

核心要点总结如下：

1. 预训练权重至关重要：使用官方发布的权重可大幅提升小数据集上的起点性能。
2. 数据标注转换不可忽略：必须运行create_petr_nus_infos.py生成适配模型输入格式的JSON文件。
3. 训练参数需合理设置：batch size受限于显存，学习率建议保持在1e-4量级，配合warmup策略更佳。
4. 可视化助力调试：VisualDL能有效监控训练稳定性，及时发现过拟合或梯度异常。
5. 模型导出支持部署：静态图导出为工业级应用打下基础，便于集成至车载或边缘设备。

未来可进一步探索方向包括：

• 使用更大规模数据（如nuScenes-trainval）进行端到端训练
• 尝试不同的主干网络（如ResNet、Swin Transformer）
• 集成时间序列信息实现4D-BEV检测
• 在Jetson等嵌入式平台部署Paddle Inference模型

掌握这一完整训练链路，有助于开发者快速构建并验证视觉BEV感知系统的核心模块。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。