如何避免陷入“局部最小值”陷阱?

人工智能 神经网络 反向传播 优化 梯度下降
2021-11-08 02:53:18

在我的神经网络上进行反向传播时,如何避免我的梯度下降算法陷入“局部最小值”陷阱?

有什么方法可以帮助我避免它吗?

1个回答

有几种基本技术可以尝试将搜索移出局部最优的吸引力盆地。他们包括:

  • 概率性地接受更差的解决方案,希望这会跳出当前的盆地(如模拟退火中的 Metropolis-Hastings 接受)。
  • 维护最近遇到的状态(或其属性)的列表,并且不返回最近遇到的状态(如禁忌搜索)。
  • 执行由当前搜索状态确定的长度的随机游走(明确的“多样化策略”,例如在“反应性禁忌搜索”中使用)。

有关此类技术的更多详细信息以及有关何时以及如何使用它们的一些经验法则,请参阅 Sean Luke 的优秀(免费在线)书籍“元启发式原理”。