如何对回归模型进行外部验证

机器算法验证 回归 物流 验证 模型比较
2022-04-03 17:23:14

这里是一个非常基本的问题,所以请耐心等待...

我有一个包含 241 名患者的数据集,包括 16 个变量加上诊断(恶性与良性)。该领域有 3 个先前发布的逻辑回归公式:

  1. 型号S ~ A + B + C + D + E + F
  2. 模型H ~ 模型S + G
  3. 模型G ~ A + B + C + H

我想对每个进行外部验证。当然,我已经插入了变量,因此计算了每个患者的预测恶性肿瘤概率。

  1. 有没有更正式的方法来比较这些预测公式的性能?当然,我已经得出了自己的公式(遵循 Harrell 的方法并使用包 rms)。如何正确地将我的公式与以前发布的公式进行比较?

  2. 采用先前公式发现的“显着”参数并从我的数据集中导出系数,从而导出 newModelS、newModelH 和 newModelG,然后在这些参数上运行统计信息(如 C、可能性 chi2 等)是否有效?我还可以比较 AICc 新复制的公式,但这是否会告知以前发布的公式?

更普遍的问题是“您如何对逻辑回归公式进行外部验证”?

2个回答

关于#1 的一部分,也许更好和更正式的方法是放入一个已发布模型的 logit 变量,并将其所有组件变量添加到其中减去一个项。对所有分量的附加值做一个块似然比这是对已发布模型缺乏拟合的测试。χ2

测试向另一个添加预测信息。然后还有 Pencina 等的方法(R函数)。χ2HmiscimproveProb

关于 1. 可能有,但我猜一个正式的方法不是很有用(尽管一些期刊编辑或尖头发的老板可能想要一个)。而是问“这些模型看起来一样吗?有人会关心差异吗?”

关于2.我不明白这个问题。

关于3。嗯....写下你的模型,写下他们的,然后看有什么问题?听起来您可能会重新询问 Q1。如果模型本质上不同,那么您可以开始询问它们为什么会这样。例如,不同的数据集、不同的模型、不同的方法(例如,您使用样条曲线,而他们使用多项式)等。