YOLO的“开眼看世界”：让目标检测突破类别限制，听懂你的话

从“固定答案”到“开放世界”

想象一下，你训练了一个能识别猫狗的YOLO模型，但当它遇到一只兔子时，它要么强行把兔子归为猫或狗，要么直接忽略。这就是传统目标检测的局限——“封闭世界”假设。模型只能识别训练时见过的固定类别。

但随着人工智能的发展，我们越来越需要模型具备开集检测能力：能识别训练时从未见过的物体类别。更进一步，如果模型不仅能“看”，还能“听懂”你的语言描述，根据文本提示检测物体，这就是多模态目标检测的魅力。

今天，我将带你深入探索如何改造YOLO，使其具备开集与多模态检测能力，并提供一个完整的创新实现方案。

一、核心原理：视觉与语言的桥梁

1.1 传统YOLO的局限与突破思路

传统YOLO在最后一层使用固定的分类头，输出维度是预先定义好的类别数。这种设计本质上是“封闭”的：

# 传统YOLO的分类头（简化表示）classTraditionalYOLOHead(nn.Module