YOLOFuse性能实测：中期特征融合以2.61MB模型实现94.7% mAP@50
在城市安防监控的深夜场景中，普通摄像头常常因光照不足而“失明”，即便启用红外补光也难以还原清晰轮廓。然而，人体散发的热辐射却能在红外图像中清晰显现——这正是多模态检测的价值所在。如何将可见光的细节纹理与红外的热感信息高效结合？YOLOFuse给出了一个极具性价比的答案：仅用2.61MB的模型，在LLVIP数据集上实现了94.7%的mAP@50。
这一结果并非偶然，而是源于对融合时机、架构设计和工程落地的系统性优化。它没有盲目堆叠参数，也没有依赖复杂结构，反而通过“中期特征融合”策略，在轻量化与高精度之间找到了一条可行路径。
传统多模态检测常陷入两难：早期融合直接拼接输入通道，虽简单但易受噪声干扰；决策级融合保留双分支完整结构，精度尚可却导致模型膨胀至数十MB，难以部署于边缘设备。YOLOFuse另辟蹊径，选择在骨干网络中间层进行特征融合——既避免了原始信号的混叠问题，又避免了重复计算带来的冗余。
具体来说，RGB与红外图像分别进入共享权重的CSPDarknet变体主干网络，独立提取初步语义特征。当处理到第三阶段（Stage 3）输出时，两个模态的特征图被按通道拼接，随后通过一个1×1卷积层压缩维度并学习跨模态响应权重。融合后的联合特征注入后续FPN/PANet结构，最终由统一检测头输出结果。
这种设计带来了三个关键优势：
- 参数极简：仅增加一次融合操作，无需双检测头，整体模型大小控制在2.61MB；
- 语义互补：在深层感知前完成信息交互，使模糊目标也能被有效激活；
- 部署友好：推理流程完全兼容Ultralytics原有范式，支持ONNX/TensorRT一键导出。
def forward(self, x_rgb, x_ir): feat_rgb = self.backbone_rgb(x_rgb) feat_ir = self.backbone_ir(x_ir) # 在Stage 3输出处融合（索引为2） fused_feat = torch.cat([feat_rgb[2], feat_ir[2]], dim=1) fused_feat = self.fusion_conv(fused_feat) # 1x1卷积降维 # 注入RGB路径，保持Head一致性 feat_rgb[2] = fused_feat p3, p4, p5 = self.neck(feat_rgb) return self.detect(p3, p4, p5)这段代码看似简洁，实则暗藏巧思。torch.cat沿通道维度合并特征，保留空间结构不变；fusion_conv不仅起到通道压缩作用，更承担了模态校准的功能——网络可以自动学习哪些区域应更依赖红外热源，哪些区域应信任可见光纹理。更重要的是，融合后仅修改单一路径特征，检测头无需重构，极大降低了迁移成本。
这套机制之所以能顺利落地，离不开对Ultralytics YOLO生态的深度适配。该框架本身具备模块化、高性能和易扩展的特点，YOLOFuse在此基础上进行了精准改造：
- 自定义
DualModalityDataset类，通过文件名映射规则自动对齐RGB与IR图像； - 构建双输入DataLoader，确保成对加载且增强操作同步应用；
- 扩展
DetectionModel实现双流编码器，并在YAML配置中声明共享结构； - 替换训练逻辑以支持双张量输入，同时复用原生Mosaic增强、CIoU损失等优化策略。
# cfg/models/dual_yolov8s.yaml backbone: - [ -1, 1, Conv, [64, 3, 2] ] # RGB stem - [ -1, 1, Conv, [64, 3, 2] ] # IR stem（同结构） - [ -1, 1, C2f, [64, 1] ] ... head: type: Detect anchors: 3 nc: 1 ch: [128, 256, 512]值得注意的是，尽管红外图像为单通道，但在预处理阶段会被扩展为三通道以匹配ImageNet预训练权重的输入格式。这一技巧使得RGB分支的Backbone部分仍可受益于大规模视觉先验知识，显著加速收敛。
此外，框架默认启用AMP（自动混合精度训练），进一步提升训练效率。配合丰富的回调接口，用户可轻松集成Weights & Biases日志监控或自定义学习率调度器，真正实现“科研+工程”双轨并行。
为了让开发者快速上手，项目提供了完整的社区镜像环境。这个基于Ubuntu构建的容器封装了从操作系统到CUDA驱动、PyTorch 2.x、OpenCV乃至YOLOFuse代码库的所有依赖项，用户只需拉取镜像即可进入/root/YOLOFuse目录运行任务。
cd /root/YOLOFuse ln -sf /usr/bin/python3 /usr/bin/python # 修复命令链接 python infer_dual.py # 运行推理demo python train_dual.py # 启动训练无需再为ImportError或CUDA版本不匹配焦头烂额，也不必耗费数小时配置虚拟环境。对于教学演示、算法验证或CI/CD自动化测试而言，这种“开箱即用”的体验极大提升了研发效率。尤其在团队协作场景下，统一的运行环境保障了实验结果的高度可复现性。
实际应用中，YOLOFuse已在多个挑战性场景中展现出强大潜力。
例如，在夜间行人检测任务中，传统单模态模型因缺乏光照导致mAP@50仅约70%。而YOLOFuse利用红外图像捕捉人体热分布，并在中期融合阶段将其注入可见光路径，使检测头能够依据温度线索定位潜在目标。最终性能跃升至94.7%，几乎接近决策级融合的上限（95.5%），但模型体积却不到其五分之一。
又如森林火灾巡检场景，浓烟严重遮挡可见光视野，常规方法极易漏检高温火点。而红外模态对热辐射敏感，即使在重度雾霾下仍能识别火源轮廓。YOLOFuse通过特征级融合，让原本退化的RGB分支“看到”本不可见的结构信息，从而维持较高的检测置信度。这类能力正逐步应用于消防机器人、无人机应急响应系统中。
当然，成功部署仍需注意若干工程细节：
- 空间配准必须严格：若RGB与IR摄像头未做标定对齐，融合将引入错位噪声，反而降低性能；
- 命名一致性要求高：建议采用完全相同的文件名（如
001.jpg↔001.jpg），否则数据加载会失败； - 标注复用原则明确：只需基于RGB图像标注，IR图像共享同一份YOLO格式标签文件；
- 显存管理建议：优先选用中期融合而非双头结构；必要时可降低输入分辨率至320×320以换取更高帧率。
# 推荐的数据目录结构 datasets/mydata/ ├── images/ ← 存放RGB图像 ├── imagesIR/ ← 存放对应红外图像 └── labels/ ← YOLO格式txt标注文件遵循上述规范，不仅能提升训练稳定性，也为后续迁移到真实业务场景打下基础。
整个系统的架构可以用一张清晰的流程图概括：
graph TD A[RGB Camera] --> D[Dual-Input Data Pipeline] B[IR Camera] --> D D --> E1[RGB Backbone] D --> E2[IR Backbone] E1 --> F E2 --> F F[Feature Fusion Layer] --> G[Neck (FPN/PANet)] G --> H[Detection Head] H --> I[Output: bbox, cls, conf]从中可以看出，YOLOFuse采用了典型的“分-融-合”范式：前期分离提取模态特异性特征，中期融合实现跨模态交互，后期统一完成检测任务。这种设计既尊重了不同传感器的本质差异，又充分发挥了信息互补的优势。
更难得的是，其全流程可在单次前向传播中完成，典型推理速度超过30 FPS（RTX 3060），满足大多数实时应用场景的需求。
回望这项工作，它的意义不仅在于刷新了某个榜单的指标，更在于提出了一种可持续演进的技术范式：小模型、大效能、易落地。
2.61MB的体量意味着它可以轻松部署在Jetson Nano、瑞芯微RK3588等资源受限的边缘设备上；94.7%的mAP@50证明其在复杂环境下依然可靠；而开源代码+预置镜像的组合，则大幅降低了技术门槛，让更多研究者和工程师得以参与二次开发。
未来，随着更多模态（如雷达、事件相机）的加入，类似的中期融合思想或许还能延伸至更广泛的多传感器融合领域。而YOLOFuse的成功实践表明，有时候真正的突破不在于“做得更大”，而在于“想得更巧”。
