计算科学 - 具有恒定步长的梯度上升法？ - 吾爱随笔录

计算科学优化凸优化

2021-12-23 11:03:55

我正在尝试在凸函数上使用梯度上升法，例如相对于其参数的多元正态密度函数（原始函数有点复杂），类似于最大似然估计。

a_{n + 1} = a_{n} + γ_{n} \nabla F (a_{n})

$a_{n+1}=a_n+\gamma_n\nabla F(a_n)$

我想知道如果我对步长使用恒定值，即，梯度上升方法是否会出现异常。 $\gamma_n=\gamma$

另外，如果我想使用自适应步长，那么定义它的最简单、最快的计算方法是什么？

1个回答

将梯度上升与线搜索方法相结合来动态确定步长并不难。否则，对于固定步长，如果 \gamma 太小，您的算法可能需要太多步骤来最大化，或者如果，它可能找不到局部最大值。 $\gamma$ $F$ $\gamma$ $\gamma$

其它你可能感兴趣的问题