取以下张量：

$$\left[\begin{array}{cc} a & b & c\\ d & e & f\\ g & h & i\\ \end{array}\right]$$ $$\left[\begin{array}{cc} j & k & l\\ o & n & m\\ p & q & r\\ \end{array}\right]$$

其中每个矩阵代表一个通道。

这可以很容易地重塑为向量：

$$[a,d,g,b,e,h,c,f,i,j,o,p,k,n,q,l,m,r]$$

然后与其他向量化张量逐行连接，形成一个典型的平面文件数据集 $N \times P$， 在哪里 $N$ 是训练样本的数量和 $P$ 是张量维度的乘积。

与其使用卷积层，不如简单地将权重在后续层中约束为零。

如果 $X$ 是一个单位 $N\times P$ 连接向量化张量的数据集，然后卷积权重将形成一个稀疏矩阵，前两列 $P \times 4$ 卷积“层”是 $2\times 2\times 2$ 过滤器存在

$$\left[\begin{array}{c} w 0\\ w0\\ 00\\ ww\\ ww\\ 00\\ 0w\\0w\\00\\w0\\ w0\\00\\ww\\ww\\0w\\0w\\0w\\00 \end{array}\right]$$

在我看来，这比张量公式更直观，并且可以使用稀疏矩阵包相当简单地计算。也许部分是品味问题。但我很好奇：张量范式有什么特别之处——无论是在数学上还是在计算上——优于扁平表示？我知道计算机将矩阵代数转换为“在引擎盖下”的 for 循环，但是 GPU 的出现不是使这种显式循环变得无关紧要吗？