我正在运行一个逻辑模型。实际的模型数据集有 100 多个变量，但我选择了一个包含大约 25 个变量的测试数据集。在此之前，我还制作了一个包含 8-9 个变量的数据集。有人告诉我，AIC 和 SC 值可用于比较模型。我观察到即使变量的 p 值较低（例如 0053），该模型的 SC 值也较高。根据我的直觉，具有良好显着性水平的变量的模型应该导致低 SC 和 AIC 值。但这并没有发生。有人可以澄清一下吗。简而言之，我想问以下问题：
很难以精确的方式回答您的问题，但在我看来，您正在比较两个不提供相同信息的标准（信息标准和 p 值）。对于所有信息标准（AIC 或 Schwarz 标准），它们越小越好（从统计角度来看），因为它们反映了缺乏拟合和模型中参数数量之间的权衡; 例如，Akaike 标准为，其中是参数的数量。然而，与 AIC 不同的是，SC 是一致的：随着样本量的增加，错误选择更大模型的概率收敛到 0。它们用于比较模型，但您可以很好地观察具有显着预测变量的模型，这些预测变量提供了较差的拟合（较大的残余偏差）。如果您可以用较低的 AIC 实现不同的模型，这表明模型很差。而且，如果您的样本量很大，值仍然可能很低，这不会提供有关模型拟合的太多信息。至少，在比较仅具有截距的模型和具有协变量的模型时，看看 AIC 是否显示显着下降。但是，如果您的兴趣在于找到预测变量的最佳子集，那么您肯定必须研究变量选择的方法。
我建议查看惩罚回归，它允许执行变量选择以避免过度拟合问题。这在 Frank Harrell 的回归建模策略 (p. 207 ff.) 或 Moons 等人的《惩罚最大似然估计以直接调整过度乐观的诊断和预后预测模型：一个临床示例》中进行了讨论，J Clin Epid (2004) 57( 12）。
另请参阅Design ( lrm) 和stepPlr ( step.plr) R 包，或惩罚包。您可以在此 SE上浏览有关变量选择的相关问题。
将 SC 和 AIC 组合在一起是错误的。它们是非常不同的东西，即使人们严重滥用它们。当您预测事物时，AIC 是有意义的，在这种情况下使用 SC 可能会（并非总是）导致错误的结果。同样，如果您有兴趣使用简约原则（奥卡姆剃刀）进行模型选择，SC 会更好。我不想深入理论细节，但简而言之：SC - 当您想要与最简单的可能模型等效的东西来解释您的数据时，适用于简约模型，AIC - 当您想要预测时。AIC 并不假定您的真实模型与 SC 一样位于模型空间中。
其次，如chl所解释的，同时使用 p 值和信息标准也可能会产生误导。