我运行二元逻辑回归,具有二元因变量和连续独立变量。
现在我想评估这样获得的分类算法的样本外性能。例如,给定一个概率阈值,我想计算样本外的准确度或灵敏度。
一种解决方案是基于重采样的估计器:例如,验证集的方法。我会将数据集拆分为训练集和测试集,在训练集上训练模型,并在测试集上评估性能(例如准确性或灵敏度)。
这是一种通用方法,可以与任何估计器一起使用。例如,我也可以将这种方法与 SVM 或神经网络一起使用。
但是逻辑回归在很多方面与(深度)神经网络不同:特别是,我们对估计器的属性了解很多。例如,我们知道估计系数的置信区间,并且我们知道数据中不可约误差的估计。
我的问题是:是否有任何分析解决方案(不是基于重新采样,如验证集或交叉验证)来计算样本外性能指标,如准确性或灵敏度?
例如,使用最小二乘线性或多项式回归,我可以在整个数据集上训练模型(不拆分训练/测试),然后使用以下公式获得 Leave-One-Out Cross-Validation MSE:
(参见 James,《统计学习导论》,第 180 页)
逻辑回归的准确性是否有类似的公式?