根据我的经验，研究人员通常将他们的架构基于先前确定的成功架构和原则。也就是说，在与当前任务类似的任务上已在实践中成功的公开方法。这可以追溯到非常早期的网络，比如感知器，它从现有的成功数学技术中获得了很多灵感。

这并不是说研究人员不利用神经科学或更广泛的知识来影响他们的决定。我相信大多数研究都是由来自更广泛经验的更抽象的直觉指导的。一些研究人员深受神经科学的影响，我知道有些研究人员试图复制大脑中的行为。大脑的相似结构和功能肯定会使有关它的知识变得有用。一些重大进展可能是由直接类比大脑所推动的，尽管我不知道是否是这样。但是，总的来说，对神经科学的了解为零并不是对神经架构进行成功研究的障碍。对现有成功技术的了解为零是一个更大的障碍。

具有良好的数学理解水平也非常有用。我可能会冒一点风险超越我的知识，并建议大学水平的数学知识也比神经科学知识更有益。我认为到目前为止的研究都是如此，也许将来会改变。所有这些评论仅基于我的个人经验，而不是任何正式的研究。另外，请注意我的偏见：我自己对神经科学知之甚少。