卷积与互相关

数据挖掘 机器学习 美国有线电视新闻网 卷积
2022-03-10 17:02:12

我知道从数学的角度来看,卷积和互相关之间的唯一区别是卷积是可交换的,而互相关是现在的。

在许多文章中,互相关被解释为测量两个信号之间的相似性,而卷积被解释为计算两个信号之间的关系。

我的问题是,交换财产的意义何在?在实践中它如何使卷积与互相关不同?还是只是为了“更好”的数学和更简单的证明?另外,如果有的话,用卷积而不是互相关来实现 CNN 有什么好处?

1个回答

事实上,卷积和互相关密切相关。前者在某些数学领域更自然一些;最值得注意的是,在傅里叶变换的卷积定理中,它指出两个函数卷积的傅里叶变换在某些条件下等于它们的傅里叶变换的乘积:

F{fg}=F{f}F{g},
从而提供了一种计算卷积的有效方法。

在 CNN 的上下文中,卷积和互相关之间的差异是无关紧要的。在离散二维情况下

(fg)[n1,n2]=m1=+m2=+f[m1,m2]g[n1m1,n2m2],
(fg)[n1,n2]=m1=+m2=+f[m1,m2]¯g[n1+m1,n2+m2].
如果f是过滤器和g是CNN上一层的输出,可以看到卷积相当于用一个filter进行互相关
f[m1,m2]=f[m1,m2]¯,
这只是次对角线周围的反射,因为所有值都是真实的。

简而言之,在 CNN 中使用真正的卷积没有任何好处。唯一的区别是学习的过滤器将围绕次对角线进行镜像。