我想为我的问题提供一些简短的背景知识,以避免解释完全连接网络和 ConvNets 之间差异的答案。
我完成了 deeplearning.ai (Coursera) 的深度学习专业的前 3 门课程。同时,我完成了斯坦福大学 2017 年春季 CS321n 课程的前两个家庭作业,以及 Michael Nielson 的深度学习书。
我相信我对这两种网络的架构以及如何用 python/tensoflow 编写它们都有一个合理的理解。我还在 C 中实现了我自己的非常简单的全连接前馈网络,我能够在 MNIST 上获得 98% 的性能。
我还阅读了关于哪种类型的数据更适合 ConvNet 的问题,我得出的答案类似于:
如果输入特征的顺序对它们的含义很重要,那么 ConvNet 会工作得最好,但是如果你用另一列替换一列的位置并且含义仍然完好,那么 ConvNet 将不起作用。
这意味着电子表格数据(如果我理解正确的话)不适合 ConvNet。
不幸的是,我不知道有任何深度学习从业者会问这个问题:目前在野外是否存在完全连接的深度神经网络?我能想到的最好的例子是财务数据。如果这是真的,那么其他人呢?