使用替代截止值进行分类时调整概率

数据挖掘 机器学习 分类
2022-02-16 19:58:50

我正在阅读Max Khun 的应用预测建模在第 16 章中,他讨论了使用替代截止值作为类别不平衡的补救措施。

假设我们的模型预测 2 个事件 e1 和 e2 的最可能结果。我们有 e1 发生的预测概率为 0.52,而 e2 发生的预测概率为 0.48。使用标准的 0.5 作为 e1 截止值,我们将预测 e1,但使用替代的 0.56 截止值作为 e1,我们将预测 e2,因为我们仅在 p(e1) > 0.56 时预测 e1。

我的问题是,在使用交替截止时重新调整概率是否有意义。例如,在我之前的示例中,使用 e1 的 0.56 截止值。

p(e1) = 0.52;p(e2) = 0.48

然后我们应用 0.56 - 0.5 = 0.06 的调整。

所以

p_adj(e1) = 0.52 - 0.06 = 0.46; p_adj(e2) = 0.48 + 0.06 = 0.54

基本上我们改变概率,以便它们在 p_adj(e1) > 0.5 时预测 e1。

如果我的逻辑存在明显缺陷,我深表歉意,但是当 p(e1) > p(e2) 时预测 e2 对我来说直觉上是错误的。哪些概率更符合现实世界的概率?

2个回答

首先,您不能总是将机器学习算法的输出视为“概率”。逻辑回归输出一个(0, 1)规模的 sigmoid 激活,但这并不能神奇地做到这一点!

我们只是经常将事物(0, 1)缩放到 ML 中的一个尺度,作为信心的衡量标准。

同样在您的示例中,如果事件是互斥的(如分类),只需将它们视为“事件 1”和“非事件 1”。类似的东西p(e1) + p(~e1) = 1

所以当你的书告诉你降低门槛时,它只是说你需要更小的信心来选择 e1 而不是 e2。这并不意味着您选择的可能性较小,您只是在做出有意识的选择来调整您的精确召回曲线

还有其他方法可以对抗阶级失衡,但将阈值更改为对一个阶级对另一个阶级的信心的任何迹象更加敏感,这当然是一种方法。

我相信您可以尝试使用截止范围来查看哪一个提供了最高的准确度或 F 分数。我已经看到 kaggle 中的获胜者表示要对截止进行实验以获得最佳结果。