为什么添加具有统计学意义的交互作用会减少真阳性?

机器算法验证 相互作用
2022-04-07 08:41:01

我试图通过考虑相关变量的交互作用来提高我的模型准确性。我更多地根据常识选择变量进行交互,而不是尝试每种组合。到目前为止,大多数具有良好 p 值 (p<.0001) 和卡方的交互作用都导致了真阳性的增加。然而,最后一个交互效应虽然具有良好的 p 值和卡方值,但导致真阳性减少了 10。

  • 这应该发生吗?
  • 我如何解释这个?
  • 一个重要的变量不应该总是增加我的真阳性吗?
2个回答

不,不应该。例如,对于逻辑回归,这似乎是这里的情况,可能是更大的 p 值(我假设你在这里指的是正确的 p 值,比如来自似然比检验)来自增加的几率对于已经相对极端的(正确预测的)观察(例如,所有预测概率为 0.8 的观察变为 0.9,所有预测概率为 0.2 的观察变为 0.1),而那些仅位于 50% 阈值右侧的观察现在是就在另一边。结果,现在可以更自信地预测四肢,但有更多的错误分类。

一般来说,良好的拟合并不能保证良好的预测(或相反)——尽管这是当今大多数“科学”出版物的工作方式:-(

我建议您研究一种更先进的技术,例如 LASSO 或弹性网络来进行变量选择……它还可以轻松地让您优化一些预测措施,例如错误分类。在 R 中,尝试 glmnet。

“真阳性”,如正确分类的比例,需要对预测值进行任意且信息丢失的分类。这些都是不正确的评分规则。不正确的评分规则是一个标准,当优化后会导致一个虚假的模型。此外,在以任何方式使用 P 值来指导模型选择时,请注意。这将极大地扭曲最终模型的推断。