这是对数似然：

$\log P(x; w) \equiv \log \prod_i P(x_i | w) = \sum_i \log P(x_i | w)$，其中$P(x_i | w) \equiv \left\{ \begin{array}{rl}\sigma(x_i), & y_i =1 \\ 1 - \sigma(x_i), &y_i = 0\end{array} \right.$

为什么是对数似然？当您拥有概率模型（例如逻辑回归）时，这是找到最适合的参数的一种方法（ MLE ）。回想一下，在逻辑回归中，与名称相反，我们试图分类而不是回归，而 MSE 是回归损失；它试图最小化与一个点的距离，而我们希望惩罚处于错误的子空间（不对应于正确类的部分）。如果你稍微眯一下，你会看到负对数似然最小化了交叉熵。