可以发现，假设一个合适的学习率、一个合适的阈值和二元交叉熵成本，因为它将这个问题转化为一个凸问题，其中我们有一个全局最优值。我们没有逻辑回归的封闭形式解决方案，但是通过梯度下降我们可以任意接近这个最优值。我建议从scikit-learn或熟悉的库运行 logreg。

这个特殊的问题有完美的分离，所以你的直觉可以变得严谨。否则，正如古内斯所说，逻辑回归不容易手动优化。

写用于对数赔率的线性模型。$y = \beta_0 + \beta_1 f_1 + \beta_2 f_2 + \beta_3 f_3$

首先作为动力，请注意在处的评估只返回截距。如果我们的模型能够获得完美的精度，那么从我们得到，从得到，但从得到。如果，这是不可能的，因此我们期望并且输出为 0。$x_6$$\beta_0$$x_1$$\beta_0+\beta_1 < 0$$x_3$$\beta_0+\beta_2<0$$x_5$$\beta_0+\beta_1+\beta_2>0$$\beta_0\geq0$$y_6=\beta_0<0$

为了准确起见，我们可以找到满足上述三个不等式的是适当的。设，，。然后对于中的每一个，我们有，对于我们有。让迫使这些对数赔率趋向，因此对数似然趋于无穷大。$\beta$$\pm \infty$$\beta_0=-3\alpha$$\beta_1=\beta_2=2\alpha$$\beta_3=0$$x_1, x_2, x_3$$y=-\alpha$$x_4, x_5$$y=+\alpha$$\alpha\to\infty$$\pm\infty$

换句话说（更短的），我们通过平面完美分离。$-3+2f_1+2f_2=0$