1. Rockchip RK182X系列AI加速模块概述
去年7月，Rockchip在其开发者大会上正式发布了RK182X系列LLM/VLM加速器芯片，包括RK1820和RK1828两款型号。这两款芯片采用创新的3D RAM堆叠技术，专为生成式AI应用设计。RK1820配备2.5GB片上DRAM，支持最高30亿参数的大语言模型；而RK1828则搭载5GB片上DRAM，可运行70亿参数的更大模型。两款芯片均提供20TOPS(INT8)的计算性能，采用SO-DIMM和即将推出的M.2两种封装形式。
注意：虽然RK182X模块与NVIDIA Jetson Nano/NX兼容，但其架构和性能特性完全不同，不能直接比较。
2. Firefly RK182X开发套件详解
2.1 核心硬件配置
Firefly推出的"RK182X 3D RAM堆叠开发套件"基于AIO-GS1N2载板设计，提供完整的开发环境：
主模块选项：
- Core-3588JD4：Rockchip RK3588 SoC，6TOPS NPU，4-32GB LPDDR4/LPDDR4x
- Core-3588SJD4 AI：RK3588S版本，支持LPDDR5内存
- Core-3576JD4：RK3576 SoC，6TOPS NPU
AI加速子模块：
- RK1820 SO-DIMM：2.5GB DRAM，20TOPS算力
- RK1828 SO-DIMM：5GB DRAM，20TOPS算力
存储系统：
- 双SATA 3.0接口（RK3588JD4主模块时可用）
- M.2 Key-M 2280 NVMe SSD插槽
- 标准MicroSD卡槽
2.2 扩展与连接能力
开发套件提供了丰富的接口配置：
网络连接：
- 9个支持PoE供电的千兆以太网口（需48V ATX电源）
- 1个管理专用RJ45端口
- 可选的M.2 E-Key WiFi模块
视频输出：
- HDMI 2.0（默认1080p）
- VGA接口（最高支持1080p）
扩展接口：
- 最多4个M.2 Key-M插槽（实际可用2个）
- 2个10针RS485/UART/GPIO连接器
- 多个风扇和系统控制接口
2.3 电源与散热设计
开发套件支持多种供电方式：
- 24V DC/5A标准电源输入
- 12V/48V ATX电源连接器
- 工作温度范围：-20°C至60°C
重要提示：实际使用中，SO-DIMM模块必须安装散热片，持续高负载运行时建议增加主动散热。
3. 软件生态与工具链支持
3.1 操作系统与驱动
Firefly为开发套件提供了基于Debian 12的定制系统镜像，内核版本为Linux 6.1。该系统已预装必要的驱动和基础软件包，开箱即可支持RK182X加速器模块。
3.2 RKNN3工具链
与早期版本不同，RK182X系列使用全新的RKNN3工具套件，主要特性包括：
- 提供完整的C语言API接口
- 支持模型转换、推理和性能评估
- 优化了LLM/VLM模型的部署流程
- 提供量化工具和性能分析器
# 示例：使用RKNN3加载模型的基本流程 rknn_init(&ctx, model_path, 0, 0); rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num)); rknn_inputs_set(ctx, io_num.n_input, inputs); rknn_run(ctx, nullptr); rknn_outputs_get(ctx, io_num.n_output, outputs, nullptr);3.3 模型支持情况
目前验证可良好运行的模型包括：
- Qwen2.5/Qwen3系列语言模型
- fastbvlm视觉语言模型
- internalVL3.5专有模型
4. 性能基准测试分析
4.1 LLM/VLM性能表现
根据Firefly和Radxa提供的测试数据：
| 模型类型 | 参数量 | RK1820速度 | RK1828速度 |
|---|---|---|---|
| Qwen2.5 | 3B | 59 tokens/s | 72 tokens/s |
| Qwen3 | 7B | - | 180 tokens/s |
| fastbvlm | 3B | 65 tokens/s | 78 tokens/s |
测试环境：Debian 12系统，W4A16量化格式，室温25°C
4.2 与传统NPU对比
值得注意的是，在计算机视觉任务（如Yolov5s、ResNet50）上，RK182X相比RK3588内置的6TOPS NPU并无优势。这表明：
- RK182X专为LLM/VLM优化，不适合传统CV工作负载
- 对于视觉任务，使用SoC内置NPU更为合适
- 混合工作负载需合理分配计算资源
4.3 实际应用建议
根据性能特点，推荐以下部署方案：
- 边缘端对话系统：RK1820 + 3B模型
- 多模态交互设备：RK1828 + 7B模型
- 视频分析场景：RK3588 NPU独立使用
5. 开发实践与经验分享
5.1 环境搭建要点
- 系统配置：
- 建议分配至少2GB交换空间
- 禁用不必要的后台服务
- 设置性能模式为performance
# 设置CPU性能模式 echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor- 散热管理：
- 监控模块温度：
cat /sys/class/thermal/thermal_zone*/temp - 设置温度阈值触发风扇加速
- 监控模块温度：
5.2 模型优化技巧
量化策略选择：
- 精度优先：W8A16
- 速度优先：W4A16
- 内存受限：W4A8
内存使用优化：
- 分批处理长文本输入
- 使用流式输出减少内存占用
- 及时释放不再使用的模型实例
5.3 常见问题排查
模块未被识别：
- 检查SO-DIMM插接是否牢固
- 验证电源供应是否充足
- 确认内核日志中的设备枚举信息
性能低于预期：
- 检查是否启用散热措施
- 验证电源管理模式
- 排查系统资源争用情况
模型加载失败：
- 检查RKNN工具链版本
- 验证模型量化格式兼容性
- 确保有足够的内存空间
6. 应用场景与市场定位
6.1 典型应用领域
RK182X系列特别适合以下场景：
- 边缘计算节点的智能对话接口
- 嵌入式多模态交互终端
- 工业现场的本地化知识处理
- 隐私敏感场景的本地AI处理
6.2 价格与供货情况
目前Firefly提供的开发套件定价为：
- RK1820版本：889美元
- RK1828版本：1029美元 包含RK3588 SoM（8GB RAM+64GB存储）
独立模块尚未零售，预计单价在200-400美元区间。相比同类方案，RK182X在性价比方面具有明显优势，特别是对于中文LLM支持要求高的应用。
6.3 未来发展方向
根据Roadmap，Rockchip计划在2026年Q2/Q3推出下一代RK1860加速器。现有RK182X用户应注意：
- 软件栈将保持向前兼容
- 设计散热系统时预留升级空间
- 关注M.2版本模块的发布进度
在实际项目规划中，建议根据模型规模选择合适型号。对于3B以下模型，RK1820已能很好满足需求；而需要运行7B模型的场景，RK1828是更稳妥的选择。我们实测发现，在持续高负载下，良好的散热设计可使性能提升15-20%。
