我正在阅读 NEAT论文。在 PDF 的第 14 页，有一段关于突变的引述：
一个基因组的连接权重有 80% 的机会发生突变，在这种情况下，每个权重有 90% 的机会被均匀扰动，并且有 10% 的机会被分配一个新的随机值。
扰动权重到底是什么意思？什么是均匀扰动与非均匀扰动？
有没有既定的方法来做到这一点？我把这个过程想象成将每个连接权重乘以一个随机数，但我不熟悉这个术语。
连接权重如何“扰动”？
人工智能
神经网络
进化算法
整洁的
2021-11-07 05:30:57
1个回答
这里的扰动意味着在权重上添加一个小的随机值。该随机值来自均匀分布或高斯分布（或任何分布）。想象一下，稍微轻推重量。
这样做是为了克服局部最小值的问题，模型可能会卡在一组好的权重上，但不是最好的一组权重。通过稍微扰动权重，模型就有机会找到更好的权重集。寻找像随机梯度下降这样的处理局部最小值的方法会给你一个更好的直觉。