点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达在计算机视觉领域，图像去噪技术始终是底层视觉任务的核心研究方向。传统监督学习方法依赖海量噪声-干净图像对，泛化能力受限；现有零样本方法虽摆脱对干净数据的依赖，却因忽视真实噪声的空间相关性而性能不佳。2025年TPAMI期刊收录的论文《Pixel2Pixel: A Pixelwise Approach for Zero-Shot Single Image Denoising》提出了一种创新性逐像素解决方案，通过构建非局部像素库与随机采样策略，实现了各类噪声场景下的高质量去噪。本文将系统解析这一方法的技术突破与实验验证。
论文信息
题目：Pixel2Pixel: A Pixelwise Approach for Zero-Shot Single Image Denoising
像素对像素：一种用于零样本单图像去噪的逐像素方法
作者：Qing Ma, Junjun Jiang, Xiong Zhou, Pengwei Liang, Xianming Liu, Jiayi Ma
研究背景：零样本去噪的核心挑战
基于深度学习的去噪方法已取得显著进展，但仍面临两大关键瓶颈：
数据依赖困境：监督方法（如DnCNN）需大量匹配的噪声-干净图像对，采集成本极高；自监督方法虽无需干净数据，但仍依赖多幅同场景噪声图像。
噪声模型局限：现有零样本方法（如ZS-N2N、Self2Self）假设噪声独立同分布，而真实世界噪声（如相机传感器噪声、显微镜噪声）存在显著空间相关性，导致这些方法性能骤降。
如图1所示，传统方法在处理高噪声图像时，要么残留大量噪声，要么过度平滑细节。其根本原因在于：这些方法仅利用局部图像相似性构建训练样本（如2×2区域内采样），无法打破噪声的空间关联性（图2）。
图1：不同去噪方法在真实噪声图像上的效果对比，Pixel2Pixel在细节保留与噪声抑制间实现更优平衡
图2：各类方法采样策略差异示意图，Pixel2Pixel通过非局部采样打破噪声空间相关性
方法创新： Pixel2Pixel的技术框架
Pixel2Pixel的核心突破在于：基于图像非局部自相似性（NSS）构建像素级训练样本，通过统计特性适配的损失函数，实现零样本场景下的鲁棒去噪。其技术框架包含三个关键模块：
1. 非局部像素库构建
自然图像中普遍存在重复模式（如纹理、结构），这一特性被Pixel2Pixel转化为核心优势。对于输入噪声图像中的每个像素，算法执行以下操作：
提取该像素周围7×7大小的局部块作为模板
在40×40的大窗口内搜索最相似的M个非局部块（M根据噪声类型设为10-50）
提取这些相似块的中心像素，构建维度为h×w×c×M的像素库张量（图3）
这种设计使每个像素能关联全局范围内的相似像素，即使局部信息被噪声破坏，仍可通过非局部像素恢复内容。
图3：像素库构建过程示意图，每个像素关联多个非局部相似像素
2. 逐像素随机采样策略
为生成有效训练样本，Pixel2Pixel提出创新性采样机制：
从每个像素的库中随机选择两个不同像素，组成“伪实例对”
采样过程打破原始空间排列，使生成样本的噪声相关性显著降低（图4）
理论上可生成M²×h×w个样本，远超传统方法的样本量
对比ZS-N2N的固定对角线采样，该策略生成的样本噪声相关性降低60%以上，更符合独立噪声假设，有效提升网络泛化能力。
图4：噪声相关性分析，Pixel2Pixel采样后噪声空间相关性显著降低
3. 适配噪声特性的网络训练
网络采用5层轻量CNN架构（每层64个3×3卷积+LeakyReLU），关键设计包括：
动态输入机制：每次迭代随机选取伪实例对作为输入-目标，而非固定噪声图
损失函数自适应：零均值噪声（高斯、泊松）用L2损失，非零均值噪声（椒盐、脉冲）用L1损失
无残差连接设计：实验证明残差结构会降低零样本场景下的稳定性
图5：Pixel2Pixel总体框架图，从像素库构建到网络训练的完整流程
实验验证：跨场景的性能超越
研究团队在四类噪声场景中进行了全面验证，对比12种主流方法（包括BM3D、Self2Self、ZS-N2N等），结果显示Pixel2Pixel在定量指标与视觉效果上均显著领先。
1. 合成噪声去噪
在高斯噪声（σ=10/25/50）和泊松噪声（λ=10/25/50）测试中：
定量指标：在Kodak24数据集上，σ=50时PSNR达28.76dB，较ZS-N2N提升1.8dB，较Self2Self提升0.9dB
视觉效果：有效抑制噪声的同时保留纹理细节，避免Self2Self的过度平滑问题（图6）
图6：高斯噪声（σ=50）去噪结果对比，Pixel2Pixel细节保留更优
2. 非零均值噪声去噪
针对椒盐噪声（p=0.2/0.3）和脉冲噪声，Pixel2Pixel表现尤为突出：
在McMaster18数据集上，椒盐噪声去噪PSNR达26.31dB，远超ZS-N2N（22.15dB）
解决了传统方法对非零均值噪声处理失效的问题，如图7所示，有效去除极端噪声点
图7：椒盐噪声去噪结果，Pixel2Pixel完全去除噪声点且保留结构
3. 真实场景噪声去噪
在两类真实数据集上的突破最为显著：
相机噪声（SIDD数据集）：平均PSNR达39.24dB，较专门设计的MASH方法提升0.8dB，处理低光图像时优势更明显（图8）
显微镜噪声（FMD数据集）：在Photon BPAE类别上PSNR达32.17dB，较次优方法提升1.5dB，清晰保留细胞边缘细节（图9）
图8：真实相机噪声去噪对比，Pixel2Pixel有效抑制噪声且保持色彩真实性
图9：显微镜图像去噪结果，Pixel2Pixel助力生物结构清晰化
消融实验：关键设计的有效性验证
为揭示各模块贡献，研究进行了系统消融实验：
采样策略：逐像素随机采样较逐图像采样PSNR提升0.7dB，证明像素级随机性的重要性
网络层数：5层网络在性能与效率间最优，更深网络（8层）仍保持稳定，而ZS-N2N在层数增加时性能骤降
参数敏感性：块大小k=7、窗口W=40时性能最佳，验证了参数选择的合理性
这些结果表明，Pixel2Pixel的每个设计都经过实证优化，形成有机整体。
总结与展望
Pixel2Pixel通过挖掘图像非局部自相似性，构建像素级训练样本，首次在理论与实践上解决了零样本去噪中噪声空间相关性的难题。其创新点可概括为：
理论上证明Noise2Noise框架下全局极小值的微观统计特性
提出非局部像素库与随机采样结合的样本生成机制
实现对零均值、非零均值及真实噪声的统一处理
该方法为低资源场景下的图像恢复提供了新思路，未来可拓展至超分辨率、去模糊等其他底层视觉任务，具有重要的学术与应用价值。
下载1：OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2：Python视觉实战项目52讲 在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。 下载3：人工智能0基础学习攻略手册 在「小白学视觉」公众号后台回复：攻略手册，即可获取《从 0 入门人工智能学习攻略手册》文档，包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源，可以下载离线学习。 交流群 欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
)
