我以前对神经网络也有过类似的想法。卷积层是有效传递空间数据的二维节点层，所以我们为什么不使用二维隐藏层从它们中接收信息。

我敢肯定有人以前使用过这种类型的实现。我相信下面的论文正在使用它。神经网络的部分意义在于训练权重以优化找到最佳解决方案，因此无论它学习的空间信息如何，都可以“关注”/增加与决定解决方案相关的位置的权重。

想想你的神经网络检查图像并给出真假的问题。如果中心为红色且其中一个角为蓝色，或者如果中心为蓝色且其中一个角为红色，则训练图像为 True。是否扁平化层应该对这个模型基本上没有影响。在其他情况下，例如对象检测或标记轮廓，是的，我相信不展平将使模型受益。话虽如此，展平数据不会消除空间关系，但仍将训练每一层以检测给出正确答案的空间信息，当层是一维而不是二维时，展平层将不会受益于邻居。

在以多类检测为任务的 CNN 中，您可以允许每个类拥有自己的 CNN，例如缩小到决策节点的隐藏层，并决定它们是否与该类匹配。想象一下棕榈树形状，其中棕榈树干是图像卷积，顶部的每一片叶子都是二维隐藏层，它们缩小到输出层。

多维神经网络 和 三维神经网络

我知道我讲了很多抽象，所以如果任何部分没有意义，我会进行编辑以澄清。

阅读完全卷积网络 (FCN)。关于这个主题有很多论文，首先是 Long 的“Fully Convolutional Networks for Semantic Segmentation”。

这个想法与您所描述的非常接近 - 保留图层中的空间局部性。FCN 中没有全连接层。相反，在最后一个低分辨率/高通道层之上有平均池化。效果就像您有几个以不同位置为中心的全连接层，最终结果是通过对它们进行加权投票产生的。

FCN 令人愉快的副作用是它们适用于任何空间图像大小（比感受野更大） - 图像大小不会编码到网络中。