什么是共轭梯度下降?

数据挖掘 神经网络 梯度下降 监督学习
2021-10-12 03:30:35

什么是神经网络的共轭梯度下降?它与梯度下降技术有何不同?

我遇到了一个资源,但无法理解这两种方法之间的区别。它在程序中提到:

确定下一个搜索方向,使其与先前的搜索方向共轭。

这是什么意思?另外,网页中提到的行搜索是什么?

任何人都可以在图表的帮助下解释它吗?

1个回答

这句话是什么意思?

这意味着下一个向量应该与矩阵的所有先前向量垂直。这就像自然基向量如何相互垂直,并增加了矩阵的扭曲:

X一个是的=0代替X是的=0

网页中提到的行搜索是什么?

线搜索是一种优化方法,它涉及猜测沿着给定方向(即,沿着一条线)应该移动多远才能最好地达到局部最小值。