Pytorch图像去噪实战（二十七）：EMA指数滑动平均实战，让图像去噪模型推理结果更稳定

Pytorch图像去噪实战（二十七）：EMA指数滑动平均实战，让图像去噪模型推理结果更稳定

一、问题场景：训练后期loss波动，保存哪个模型都不放心

训练图像去噪模型时，经常会遇到这种情况：

• epoch 60 效果不错
• epoch 70 loss更低，但图像更糊
• epoch 80 指标波动
• epoch 90 局部伪影变多

我一开始的做法是保存多个 checkpoint，然后人工挑选。
但这样很麻烦，也不稳定。

后来我在训练中加入 EMA，也就是指数滑动平均权重，推理效果通常更稳定。

二、什么是EMA？

EMA 全称 Exponential Moving Average。

它维护一份模型权重的平滑版本：

ema_weight = decay * ema_weight + (1 - decay) * current_weight

可以理解为：

不完全相信当前一步的权重，而是保留一份长期平均后的权重。

三、为什么EMA适合图像去噪？

图像去噪对模型权重波动很敏感。

一点点变化可能导致：