为什么求根在逻辑回归中很重要?(即牛顿拉夫森)

数据挖掘 机器学习 逻辑回归 优化 梯度下降
2021-10-14 00:58:33

我想问一下我们在逻辑回归中找到根源的主要原因是什么(即为什么我们在逻辑回归上使用牛顿拉夫森方法)。我了解 Newton Raphson 方法的基础知识,但我就是不明白找到根或使用二阶导数的重要性。

PS我知道Newton Raphson的想法,我想知道为什么我们需要使用这种方法并找到函数的零点或根?例如,对于逻辑回归,它想告诉我们什么?

1个回答

这篇博文为您的问题提供了广泛的答案。简而言之,牛顿法不是用来求损失的根,而是求梯度的根。如果你找到梯度的根,那么你要么处于最大值、最小值或鞍点(这三个是临界点)。在逻辑回归中使用交叉熵损失函数时,可以证明这个损失函数只有一个临界点,而这个临界点对应的是全局最小值。出于这个原因,找到梯度的根相当于找到唯一的临界点,因此是交叉熵损失函数的全局最小值。