有几种不同的算法可用于无梯度神经网络训练。其中一些算法包括粒子群优化、遗传算法、模拟退火等。几乎任何优化算法都可以用来训练神经网络。以下是我列出的一些算法的概述：

• 粒子群优化——我会说这是训练神经网络比反向传播更好的优化算法之一。我目前正在使用它并取得了相当不错的效果。
• 遗传算法 - 我过去曾尝试使用遗传算法来训练神经网络，但我无法让它发挥作用。但是，我使用的深度神经网络具有近一百万个参数，但性能并不是那么好。
• 模拟退火 - 模拟退火基于金属冷却。我已经看到模拟退火工作得相当好，但可能不如粒子群优化。
• 遗传算法的导数 - NEAT 等遗传算法的导数已被证明可以很好地工作。我个人并没有广泛使用它们，但是人们使用它们的一些东西非常酷。