我一直在学习神经网络,我很好奇:还有其他层类型,比如卷积层和全连接层吗?我知道有诸如最大池化或各种正则化层之类的东西,但我主要对全连接层的更多变化感兴趣(比如卷积层如何与全连接层做同样的事情,但考虑到数据的形状)。除了直接矩阵乘法或较小块上的矩阵乘法之外,我们不需要任何东西,这似乎很奇怪。
这些存在吗?如果不是,为什么不呢?
我一直在学习神经网络,我很好奇:还有其他层类型,比如卷积层和全连接层吗?我知道有诸如最大池化或各种正则化层之类的东西,但我主要对全连接层的更多变化感兴趣(比如卷积层如何与全连接层做同样的事情,但考虑到数据的形状)。除了直接矩阵乘法或较小块上的矩阵乘法之外,我们不需要任何东西,这似乎很奇怪。
这些存在吗?如果不是,为什么不呢?
Jan van der Vegt 很好地提到了一些主要的不规则图层类型,但为了完整起见,我将折腾其他几个。我从经验中知道,Teuvo Kohonen 的自组织地图中的层可以完全连接,而不需要正方形或矩形矩阵。通过创建与潜在问题相匹配的拓扑结构,我获得了出色的结果,这些问题可能具有锯齿状和可能的多维形状,然后使用集合而不是矩阵对它们进行操作。这就是我在编码神经网络时更喜欢使用 SQL 等基于集合的语言而不是矩阵数学的原因之一。另一个值得探索的有趣的神经网络类型是 Neural Gas,它扩展了数据点的空间以适应问题的自然拓扑,无论它可能是什么。用流形表示比用普通空间更容易。从某种意义上说,它可以看作是 Kohonen 网络的概括和抽象。
Kohonen 网络的资源很容易找到,但有关神经气体的文献仍然很少。以下是我读过的关于神经毒气和各种变体的一些有价值的链接:
• Martinetz 和 Schultern关于神经毒气的原创文章。
• A Master's Thesis on Growing Neural Gas,动态创建拓扑
•不断增长的神经气体网络学习拓扑,Bernd Fritzke 的研究论文
循环神经网络有不同类型的层,例如长短期记忆层。神经图灵机更加狂野。另一个例子是一个非方形卷积层,我正在考虑编写一个 CNN 强化学习程序,该程序可以学习如何玩鲍鱼,它在六边形板上播放,类似的图案以六边形补丁出现在板上,所以是也是一种可能。