空间变压器网络与可变形卷积

数据挖掘 神经网络 深度学习 计算机视觉 卷积
2021-10-01 04:02:56

据我了解,deepmind 论文https://arxiv.org/abs/1506.02025所描述的STN

  • 允许神经网络学习如何对输入图像执行空间变换,以增强模型的几何不变性。

可变形卷积 https://arxiv.org/abs/1703.06211

  • 向标准卷积中的常规网格采样位置添加 2D 偏移。

从论文中:

...可变形卷积不采用全局参数变换和特征扭曲。相反,它以局部和密集的方式对特征图进行采样。为了生成新的特征图,它有一个加权求和步骤,这在 STN 中是不存在的。

对我来说,STN 增强了输入图像,而 DC 增强了内核形状。就网络的视野而言,结果应该相似/相同吗?如有错误请指正。

1个回答

正如他们在论文中提到的,主要区别在于 STN 有一个全局参数来转换特征。也就是说,它计算组参数来转换输入。DC 为输入中的每个位置计算 2D 偏移图,因此对于输入特征中的每个位置,都有一个单独的转换。