梯度下降是否总能找到特定回归类型的全局最小值?

数据挖掘 线性回归 损失函数 梯度下降
2022-02-25 11:55:41

据我了解,线性回归用于使用最适合某些输入数据的线性方程根据输入预测输出。我们使用损失函数为某些输入数据选择最佳拟合线性方程。通过模拟 y = mx + b 中 m 和 b 的值,我们可以找到梯度下降的最优线性方程。

我的问题是,梯度下降是否总能找到线性回归的全局最小损失?这个问题的延伸是,上一个问题的答案不取决于所使用的损失函数吗?此外,当我们在 m、b 和损失函数值的图上使用梯度下降时,考虑到我们使用线性回归,该图是否总是凸的?

1个回答

对于线性回归,使用最小二乘误差作为损失函数,成本函数将是的。应用于凸函数的梯度下降将收敛到全局最小值是的,这取决于损失函数。我没有用于线性回归的非凸损失函数的示例,但请查看此视频以了解逻辑回归的情况。