机器算法验证 - 使用Firth逻辑回归进行模型选择 - 吾爱随笔录

使用Firth逻辑回归进行模型选择

机器算法验证物流模型选择 aic 分离

2022-02-13 00:28:08

在一个小数据集（ $n\sim100$ ) 我正在使用的几个变量给了我完美的预测/分离。因此，我使用Firth 逻辑回归来处理这个问题。

如果我通过AIC或BIC选择最佳模型，我应该在计算这些信息标准时将 Firth 惩罚项包括在可能性中吗？

1个回答

如果您想证明使用 BIC 的合理性：您可以用最大后验 (MAP) 估计替换最大似然，并且由此产生的“BIC”类型标准保持渐近有效（在样本大小的限制内） $n \to \infty$ ）。正如@probabilityislogic 所提到的，Firth 的逻辑回归等效于使用 Jeffrey 的先验（因此您从回归拟合中获得的是 MAP）。

BIC 是一个伪贝叶斯标准，它（大致）使用边际似然的泰勒级数展开推导出来

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$ 围绕最大似然估计

\hat{θ}

$\hat{\theta}$ . 因此，它忽略了先验，但随着信息集中在可能性中，后者的影响消失了。

作为附带说明，Firth 的回归还消除了指数族中的一阶偏差。

其它你可能感兴趣的问题

上一篇基于交叉验证（CV）的预测区间下一篇Shrunken vs unbiased的估计量rrrrρρ