机器算法验证 - 逻辑回归最大化似然性是否也必然会在线性模型上最大化 AUC？ - 吾爱随笔录

逻辑回归最大化似然性是否也必然会在线性模型上最大化 AUC？

机器算法验证物流最大似然奥克

2022-03-21 21:09:36

给定具有二元结果和一些预测矩阵的数据集，标准逻辑回归模型估计系数最大化二项式似然。当满秩是唯一的；当完美的分离不存在时，它是有限的。 $y\in\{0,1\}^n$ $X\in\mathbb{R}^{n\times p}$ $\beta_{MLE}$ $X$ $\beta_{MLE}$

这个最大似然模型是否也最大化 ROC AUC（又名统计量），或者是否存在一些系数估计可以获得更高的 ROC AUC？如果 MLE 确实不一定会使 ROC AUC 最大化，那么看待这个问题的另一种方式是“是否有替代似然最大化的替代方案，它总是会最大化逻辑回归的 ROC AUC？” $c$ $\beta_{AUC} \neq \beta_{MLE}$

我假设模型在其他方面是相同的：我们没有在中添加或删除预测变量，或者以其他方式更改模型规范，并且我假设似然最大化和 AUC 最大化模型使用相同的链接函数。 $X$

1个回答

并非如此。 $\beta_{MLE} = \beta_{AUC}$

为了说明这一点，考虑 AUC 可以写为

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

换句话说，预测的顺序是影响 AUC 的唯一因素。这不是似然函数的情况。因此，作为一项心理练习，假设我们有一个预测变量，并且在我们的数据集中，我们看不到完美的分离（即，是有限的）。现在，如果我们简单地取最大预测变量的值并将其增加一些少量，我们将改变这个解决方案的可能性，但它不会改变 AUC，因为排序应该保持不变。因此，如果旧的 MLE 最大化了 AUC，它仍然会在更改预测变量后最大化 AUC，但将不再最大化似然性。 $\beta_{MLE}$

因此，至少，情况并非如此 $\beta_{AUC}$ 不是唯一的；任何 $\beta$ 保留估计的顺序可以达到完全相同的 AUC。一般来说，由于 AUC 对数据的不同方面很敏感，我相信我们应该能够找到一个案例 $\beta_{MLE}$ 没有最大化 $\beta_{AUC}$ . 事实上，我敢猜测这很有可能发生。

编辑（将评论移至答案）

下一步是证明 MLE 不一定会使 AUC 最大化（尚未证明）。可以通过采用预测变量 1、2、3、4、5、6、 $x$ （和 $x > 6$ ) 结果为 0, 0, 0, 1, 1, 1, 0。 $\beta$ 将最大化 AUC（无论 $x$ )，但我们可以选择一个 $x$ 足够大 $\beta_{MLE} < 0$ .

其它你可能感兴趣的问题

上一篇LARS 与套索的坐标下降下一篇单单元 LSTM 和 3 单元 LSTM 神经网络之间的区别