一、本文介绍
⭐本文给大家介绍一种AAFM自适应对齐频率模块优化RT-DETR模型!AAFM 提出了一种两阶段渐进融合策略(解决基于卷积的局部特征与基于自注意力的全局特征之间,以及空间和通道维度特征之间,存在的特征不对齐问题),助力RT-DETR高效涨点!具体怎么使用请看全文。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进!🔥
含7种 rtdetr 基准创新改进点助力高效涨点!
🔥RT-DETR创新改进目录:全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点
🔥全新RT-DETR创新改进专栏地址:最全RT-DETR创新改进高效涨点+永久更新中(至少500+改进)+高效跑实验发论文
本文目录
一、本文介绍
二、AAFM模块介绍
2.1 从不同角度获得的特征模式对比
2.2 网络结构图
2.3 创新点总结:
2.4 AAFM模块的优势
三、核心代码
四、手把手教你配置模块和修改task.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改task.py文件
五、创建涨点yaml配置文件
🚀 创新改进1: rtdetr-l-AAFM.yaml
🚀 创新改进2: rtdetr-l-HGBlock_AAFM.yaml
🚀 创新改进3: rtdetr-l-ResNetLayer_AAFM.yaml
🚀 创新改进4: rtdetr-r18-BasicBlock_AAFM.yaml
🚀 创新改进5: rtdetr-r18-AAFM.yaml
🚀 创新改进6: rtdetr-r50-BottleNeck_AAFM.yaml
🚀 创新改进7: rtdetr-r50-AAFM.yaml
六、正常运行
二、AAFM模块介绍
摘要:图像去雨是计算机视觉中的一个具有挑战性的任务,旨在从雨滴和恶劣天气条件下的图像中恢复清晰的场景。近年来,基于 Transformer 的方法取得了显著的成功。然而,现有的 Transformer 模型通常依赖单一的全局或局部表示,而无法充分挖掘图像中多样的雨滴模式和复杂的几何结构。为了克服这一限制,我们提出了一种新的跨范式表示和对齐 Transformer(CPRAformer)框架。该方法结合了全局-局部和空间-通道两种范式的表示能力,从而能够更好地建模复杂的雨滴分布和细节恢复。我们的模型包含三个关键组件:首先,我们提出了“稀疏提示通道自注意力”(SPC-SA)机制,它通过稀疏化的通道依赖性建模全局通道关系,促进了通道间专家信息的流动;其次,我们引入了“空间像素细化自注意力”(SPR-SA)机制,它关注空间分布和细粒度纹理恢复,提升了空间特征建模能力;最后,我们设计了自适应对齐频率模块(AAFM),在两个阶段逐步对特征进行对齐和交互,以减少不同范式之间的信息差异。此外,我们还提出了一种多尺度引导网络(MSGN),用于实现跨尺度特征的交互融合。实验结果表明,CPRAfo