我开始了我的博士之旅，我为自己设定的最终目标是开发 ANN，以监控他们工作的环境并根据手头的问题动态调整他们的架构。明显的含义是数据的时间性：如果数据集不是连续的并且不随时间变化，那为什么还要调整呢？
最大的问题是：随着最近深度学习的兴起，它仍然是一个相关的话题吗？FFNN 是否有机会在概念漂移问题中找到自己的利基市场？
我担心过多的问题会使线程超载，但这并不是完全偏离主题：我知道 RNN，但我对它们的经验有限（好吧，没有，或纯理论）；我相信动态架构适应必须是 RNN 上下文中的一个相关主题。问题是，它已经被回答了吗，我会重新发明轮子吗？
PS 交叉发布到MetaOptimize
级联相关神经网络通过在训练过程中添加隐藏节点来调整其结构，因此这可能是一个开始的地方。我见过的大多数其他自动调整神经网络的层数、隐藏节点数等的工作都使用进化算法。
不幸的是，这项工作超出了我的范围，因此我不能推荐任何特定的论文或参考资料来帮助您入门。我可以告诉你，我还没有看到任何尝试在深度学习社区内同时联合优化网络结构和参数的工作。事实上，大多数深度学习架构都是基于一次贪婪地学习一个层，因此即使是深度神经网络的在线学习也是一个相当未触及的领域（Martens 等人关于 Hessian 自由优化的工作是一个显着的例外）。
考虑开发构造神经网络的新方法（例如提到的 CC 算法 @alto）的另一个原因是在统计之外的应用中。特别是，在理论神经科学和认知科学中，由于与发育和神经发生的隐喻相似性，经常使用建设性神经网络。有关为此大量使用级联相关的示例，请查看Thomas R. Shultz 的出版物。不幸的是，级联相关方法在生物学上是不现实的，如果您有神经科学方面的兴趣，那么值得考虑如何将具有可调节架构的新 NN 用作更好的发育和/或神经发生模型。