显然，深度神经网络最近产生了影响。这些网络的逐层训练使得构建复杂、深度和性能良好的神经网络成为可能。尽管如此，我觉得深度学习模型的某些应用可能会受益于不易陷入局部最优的全局优化方法。不过，我还没有看到任何这方面的研究。
难道不能使用进化/受生物启发的算法（例如，粒子群优化、差分进化）来使深度学习模型更强大吗？还是这种特定技术组合所需的计算能力目前是一个限制因素？
深度学习模型的全局优化
机器算法验证
优化
深度学习
2022-03-23 03:02:17
2个回答
通常，用于优化神经网络的基于梯度的技术比您提到的不需要梯度的两种通用优化算法更具体且针对任务进行了优化。Geoff Hinton在他关于深度学习的幻灯片中提到了基于进化的优化神经网络的方法。他说它们并没有真正起作用，并且它们无法很好地扩展到具有很多权重的网络。使用梯度进行优化极大地有助于进行有效的训练。
训练深度神经网络的成功方法已经朝着逼近目标函数的二阶导数的方向发展。
我非常怀疑不了解神经网络结构的一般优化程序是否会取得很大成功。
可能目前它的研究较少，因为多点搜索算法比使用梯度（通常）需要更多的处理能力。
不过，多点搜索算法确实会收敛到更好的最优值。您还可以通过以下方式使用进化算法：
优化网络的层数、神经元数量和元参数，目前这是一个悬而未决的问题，传统上需要大量的人工交互。
建立一种多点搜索算法，其中除了交叉和变异之外，新的进化算子是基于梯度的算子
进化梯度搜索算法的良好起点
其它你可能感兴趣的问题