Logistic 曲线的残差平方和有多少个最小值?

数据挖掘 逻辑回归
2022-02-03 17:12:39

假设我们有一些数据点{(xi,yi)}在哪里xi是一个实数并且yi是零或一。我们希望将逻辑函数拟合到逻辑函数所在的数据y^=11+e(βx+β0). 为此,我们想选择β1β0为了最小化残差平方和,RSS=i(yiy^i)2.[没关系,交叉熵是更好的成本函数。]我相信只有一个最小值。我怎么知道?有谁知道这个的证明或反例?

1个回答

Sigmoid 本身不是凸函数(见this)和基于sigmoid的平方损失,比如(A11+ez)2不是凸的。

简单地绘制 A = 5 的平方损失函数表明它对于 x > 0 是凸的并且是凹的,否则

在此处输入图像描述

如果您想要数学证明,请取二阶导数,您会发现它既不是严格的正数也不是负数。