是否有神经网络可以决定在执行期间添加/删除神经元（或更改神经元模型/激活功能或更改神经元的指定含义）、链接甚至完整层？
我猜这样的神经网络克服了学习/推理阶段的通常分离，并且它们继续过着学习和自我改进的生活，同时进行推理和构建这些神经网络的实际决策。实际上，它可以是一个充当哥德尔机的神经网络。
我找到了术语动态神经网络，但它与添加一些延迟函数有关，仅此而已。
当然，这种自我改进的网络完全重新定义了学习策略，可能单次梯度方法不能适用于它们。
我的问题与神经符号整合有关，例如Artur S. D'Avila Garcez 的Neural-Symbolic Cognitive Reasoning，2009 年。通常，这种方法将单个神经元分配给某些知识库中的一组公式中的变量（或分配给公式/规则的神经元组）。当然，如果知识库扩展（例如从传感器读数或从内部非单调推断），则应添加新变量，因此神经网络也应扩展（或收缩）。
这篇关于动态可扩展神经网络(DEN) 的文章（Harshvardhan Gupta 撰写）基于这篇论文Lifelong Learning with Dynamically Expandable Networks（作者 Jeongtae Lee、Jaehong Yoon、Eunho Yang、Sung Ju Hwang）
这提供了 3 个解决方案来增加网络容量，如果需要保留旧模型中的任何有用信息并训练新模型：
对我来说，这样的神经网络似乎是动态的和不断改进的。因此，他们部分回答了您的问题。如果他们对此不感到抱歉。
我主要研究 HMM，此类模型在该特定领域称为 Infinite HMM。
我相信您正在寻找的东西称为无限神经网络。由于无法访问科学出版物，我无法在这里真正参考任何工作。但是，我发现了这个 GitHub 存储库：https ://github.com/kutoga/going_deeper ，它提供了一些实现和一个包含多个参考的文档。