TensorRT下的YOLOv5 INT8量化与多线程优化加速实战

往期文章
RK3588+docker+YOLOv5部署：https://blog.csdn.net/FJN110/article/details/149673049
RK3588测试NPU和RKNN函数包装https://blog.csdn.net/FJN110/article/details/149669753
RK3588刷机：https://blog.csdn.net/FJN110/article/details/149669404
以及深度学习部署工程师1~31主要学习tensorRT、cmake、docker、C++基础、语义分割、目标检测、关键点识别、RTSP推流、3D模型部署、车牌检测于识别项目、人脸属性分析（年龄、性别、名称、是否佩戴口罩）等知识
好的进入本节课程：
学会了前面TensorRT怎么将onnx模型转化为engine，你肯定疑惑为什么要把yolov5的检测头去掉，换成tensorRT自己构建的检测头。而且为什么tensorRT的检测头是类别、分数、位置等4个检测头，通过这一期源码的详解你应该能明白吧！

0. Yolov5 decode流程

将YOLOv5 COCO预训练模型（80个类别）导出ONNX，可查看到3个head（shape分别是[255,80,80], [255,40,40], [255,20,20]），经过decode后变成最终的输出output （[25200,85]），再经过NMS就