CNN - 这是一个托普利兹矩阵吗？

数据挖掘 机器学习 深度学习 卷积神经网络
2022-03-10 03:07:14

我一直在阅读www.deeplearningbbook.org的第 9 章，其中描述了卷积网络。

下图表示没有内核翻转的 2D 卷积的输出。

在此处输入图像描述

这本书继续将这个矩阵描述为一个Toeplitz 矩阵，其中，

对于单变量离散卷积，矩阵的每一行都被限制为等于上面移动一个元素的行。

我完全理解这个陈述，因为,w和是它们各自列中的常量，带有移位元素。xyz

然而，没有提到对角线常数是这种矩阵的一个关键特征。根据维基百科（上面的链接）和其他几个来源：

以 Otto Toeplitz 命名的 Toeplitz 矩阵或对角线常数矩阵是一个矩阵，其中从左到右的每个下降对角线都是常数。

回到上面的图片，这是否意味着，例如，aw == cx == gy？当所有元素都不同时，如何确保这一点？

1个回答

首先，请确保 CNN 中的核矩阵（图中的 2x2 矩阵）不受约束使其对角线填充唯一值，因此不是 Toeplitz 矩阵。

在www.deeplearningbook.org中，我们可以阅读：

“离散卷积可以看作是乘以矩阵，但矩阵有几个条目被限制为等于其他条目”

这意味着在 CNN 的输入数据上传递内核的全局操作可以表示为该输入数据与矩阵的乘积。即通过一个大而稀疏的 Toeplitz 矩阵。

作者提到了单变量离散卷积的说明性简单案例。在单变量离散卷积中，我们将应用长度为的一维核矩阵m在长度的一维输入数据上n. 让我们取 n=10 和 m=3。可以通过将输入向量数据乘以一个 *n 矩阵来进行卷积，该矩阵的对角线将由内核的 3 个权重组成，在每一新行处向右移动一列。

其它你可能感兴趣的问题
上一篇连续变量会降低分类模型的准确性吗？ 下一篇我可以在 r 的 randomForest 中同时使用分类和数值数据变量吗？