🔥 本文是TPS-SCL精读全文的入门科普版。
TPS薄板样条是什么?看懂可变形图像对齐+跨模态RGB-T融合
真实场景的"不对齐"问题
拿手机拍一张可见光照片,再用热成像仪拍同一场景——两张图肯定对不上。因为:
- 两个镜头位置不同 → 物体在画面中的位置整体偏移
- 一个广角一个长焦 →尺度不同
- 从不同角度拍 → 物体形状扭曲变化
之前的方法用仿射变换(旋转+缩放)或单应性估计(假设所有物体在一个平面上)来处理。但真实场景不是平面——人站前面、树在后面、车在更远,每个物体偏移量都不同。这需要可变形变换。
TPS = 薄板样条 = 弹性弯曲
想象一块薄钢板,你在钢板上选几个点(控制点),然后把某些点按到新位置。钢板会发生平滑弹性变形——离控制点近的地方变化大,远的地方变化小,整体过渡平滑自然。
TPS-SCL中的TPSAM模块就是这么做的:
- 在热红外图上均匀选25个(5×5网格)控制点
- 网络预测每个控制点应该往哪个方向移动多少
- 用TPS公式算出整张图的平滑变形场
- 把热红外图"弯曲"到RGB图的坐标空间
结果:两个模态的显著目标在空间上对齐了。
三步流程:先看准、再对齐、后融合
SCCM(先看准):不看局部细节,先用高层语义特征搞清楚"哪些区域是显著的"。把显著区域标记出来,后面的步骤只关注这些区域。
TPSAM(再对齐):把热红外图中的显著区域通过TPS弹性弯曲到RGB图的对应位置。
CMCM(后融合):对齐后用门控机制深度融合——RGB的纹理细节+热红外的目标感知能力,互相补充。
一张表看差异
| 方法 | 能处理大偏移 | 能处理非线性形变 | 计算复杂度 | 参数量 |
|---|---|---|---|---|
| 仿射变换 (DCNet) | ✗ | ✗ | 低 | 24.1M |
| 单应性估计 (PCNet) | ✓ | ✗ | 中 | 291.9M |
| TPS (TPS-SCL) | ✓ | ✓ | 低 | 12.82M |
一句话总结
TPS-SCL用薄板样条(TPS)代替传统仿射变换/单应性估计,实现了真实无对齐RGB-T场景下的弹性可变形对齐。SCCM管"看哪儿"、TPSAM管"对齐"、CMCM管"融合",三板斧砍出AAAI 2026无对齐RGB-T SOD新SOTA。
📖 精读完整论文(含完整代码+实验解读):
TPS薄板样条对齐RGB-T SOD:TPS-SCL AAAI2026 无对齐SOTA,SCCM约束+TPSAM对齐+CMCM融合!!!