news 2026/4/18 1:55:17

超模表现!吊打ViT/ResNet!注意力机制+多尺度卷积新成果横扫SOTA

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
超模表现!吊打ViT/ResNet!注意力机制+多尺度卷积新成果横扫SOTA

小伙伴们好,我是小嬛。专注于人工智能、计算机视觉领域相关分享研究。【目标检测、图像分类、图像分割、目标跟踪等项目都可做,相关领域论文辅导也可以找我;需要的可联系(备注来意)】

-------正文开始--------

前段时间上海大学一篇文章提出的ECViT有点意思,仅4.8M参数就全面超越了ViT/ResNet/ConvNeX,实现了更高效率、更强泛化能力,还无需预训练。

研究了一下,这模型的核心是多尺度卷积+注意力机制,这对组合可是当前cv领域的重要研究方向之一,因为它拥有广泛的适用性,可无缝应用到分类/检测/分割/超分/医学图像等几乎所有视觉任务中!

对于论文er来说,这方向也确实是个高质量选择,如果感兴趣,以目前研究进度来看,将边缘轻量化的目标,通过效率优先的技术路径实现,是个不错的思路,比如动态稀疏多尺度注意力。

有论文需求的小伙伴

扫码咨询

ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages

方法:论文提出的 ECViT,通过多尺度卷积与注意力机制协同,融合 CNN 的归纳偏置与 Transformer 的全局建模能力,搭配金字塔结构,高效捕捉多尺度特征,实现性能与效率的平衡。

创新点:

  • 融合CNN的局部性、平移不变性等归纳偏置与Transformer的全局建模能力,兼具两者优势。

  • 采用多尺度卷积与注意力机制协同设计,通过分区多头自注意力、交互式前馈网络高效捕捉特征。

  • 引入金字塔结构,结合tokens合并操作,在低计算量下实现多尺度特征提取与优化。

    PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation

    方法:PMFSNet的创新点是设计了插件式PMFS模块,通过多尺度卷积与通道、空间自注意力机制协同,以≤100万参数的轻量化架构,高效捕捉特征,平衡2D和3D医学图像分割的性能与效率。

    创新点:

  • 设计插件式PMFS模块,融合多尺度卷积与通道、空间自注意力机制,高效捕捉全局与局部特征。

  • 采用轻量化架构(≤100万参数),优化注意力计算复杂度,适配2D和3D医学图像分割场景。

  • 简化UNet层级结构,通过自适应多分支特征融合与深度可分离卷积,平衡分割性能与部署效率。

    MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer

    方法:MATCNN的创新点是结合多尺度卷积与注意力Transformer,通过MSFM提取局部特征、GFEM捕捉全局特征,搭配信息掩码与专属优化算法,高效融合红外与可见光图像。

    创新点:

  • 设计多尺度融合模块(MSFM),通过多尺度卷积提取红外与可见光图像的局部特征,减少细节损失。

  • 构建基于注意力Transformer的全局特征提取模块(GFEM),捕捉图像全局特征,提升特征连续性。

  • 引入信息掩码与融合多维度损失的优化算法,引导特征提取,平衡红外目标凸显与可见光纹理保留。

    Enhancing Few-Shot Image Classification through Learnable Multi-Scale Embedding and Attention Mechanisms

    方法:论文的创新点在于提出一种融合多尺度卷积与注意力机制的少样本图像分类方法,通过 ResNet-18 提取五个阶段的多尺度特征,借助自注意力机制细化各阶段特征,再通过可学习权重调整各尺度贡献,提升少样本图像分类性能。

    创新点:

  • 基于ResNet-18提取五个阶段的多尺度特征,同时捕捉全局特征与抽象语义特征。

  • 引入自注意力机制对各阶段特征进行细化,强化特征的判别性与鲁棒性。

  • 设计可学习权重动态分配不同尺度特征的重要性,优化多尺度特征融合效果。

感谢各位观众的观看和支持,祝大家的论文早日accept!!

希望论文一路绿灯的朋友可以找我,我有团队,有资源,有背景,一条龙服务~~~~

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/28 10:33:36

麻了!00后在西二旗当街发简历推销自己?

小伙伴们好,我是小嬛。专注于人工智能、计算机视觉领域相关分享研究。【目标检测、图像分类、图像分割、目标跟踪等项目都可做,相关领域论文辅导也可以找我;需要的可联系(备注来意)】前两天在某音刷到一个视频&#xf…

作者头像 李华
网站建设 2026/4/11 14:35:51

ES安装配置:Docker Compose应用完整示例

5分钟搭建Elasticsearch集群:Docker Compose实战指南你有没有遇到过这样的场景?项目刚启动,后端同事说“需要连ES查日志”,前端同学要验证搜索建议,测试组等着跑自动化用例——可本地连个像样的Elasticsearch环境都没有…

作者头像 李华
网站建设 2026/3/25 6:38:57

Hologres Dynamic Table 在淘天价格力的业务实践

作者: 闵加坤 | 淘天集团价格平台开发工程师 业务介绍 淘天价格力团队作为平台价格治理的核心部门,承载着淘宝天猫全域商品价格管理的重要职责。团队掌握着淘内外所有商品的全量价格信息,包括商品原价、券后价等多维度价格数据,…

作者头像 李华
网站建设 2026/4/13 0:15:39

树莓派更新失败提示命令未找到?入门详解

树莓派更新失败提示“命令未找到”?别急,一文带你从根上解决问题 你有没有遇到过这样的情况:刚给树莓派通电,SSH连上去准备更新系统,结果敲下一行熟悉的命令: sudo apt update终端却冷冷地回了你一句&am…

作者头像 李华
网站建设 2026/4/3 7:57:20

YOLO26优化:卷积魔改 | 轻量化改进 | 分布移位卷积(DSConv),提高卷积层的内存效率和速度

💡💡💡本文改进内容: YOLO26如何魔改卷积进一步提升检测精度?提出了一种卷积的变体,称为DSConv(分布偏移卷积),其可以容易地替换进标准神经网络体系结构并且实现较低的存储器使用和较高的计算速度。 DSConv将传统的卷积内核分解为两个组件:可变量化内核(VQK)和分…

作者头像 李华