用于训练神经网络的主要进化算法是增强拓扑的神经进化，或NEAT。NEAT 已经得到了相当广泛的使用。有数以千计的学术论文建立在或使用该算法。

NEAT 在商业应用中没有广泛使用，因为如果你有一个干净的目标函数，一个通过反向传播为梯度下降优化的拓扑，以及一个为 GPU 高度优化的实现，你几乎肯定会看到更好、更快、传统训练过程的结果。NEAT 真正有用的地方是如果你想做一些奇怪的事情，比如训练以最大化新颖性，或者如果你想尝试训练没有完全可分解的梯度的神经元。基本上，您需要有任何通常的原因，您可能更喜欢进化算法而不是爬山方法：

1. 您没有从损失函数到单个模型组件的清晰映射。
2. 您的损失函数有许多局部最大值。