我有一个预测模型 我使用了一些性能指标 测量 的准确性。的分布是未知的（它是一个自定义指标，在某种程度上类似于精度指标）。
我的验证预测如下：
- 将数据随机拆分为 分层褶皱
- 合身 楷模
- 估计每个模型根据 （结果 - 交叉验证的值 )
- 最终的模型预测性能是通过平均值计算的 -交叉验证 措施。
我想进行一些显着性测试——能够说出模型预测性能的信心——我在多大程度上“确定”?
评估交叉验证的绩效指标的重要性/置信度
数据挖掘
统计数据
交叉验证
评估
2021-09-27 20:42:28
1个回答
您可以使用自举来估计预测误差的置信区间。进一步的帮助可以在一些斯坦福在线课程幻灯片中找到，但我没有这样做。
除此之外，将通过交叉验证（均值和标准差）获得的估计性能与参考点（例如，AUC = 0.5）或另一个基准模型（例如逻辑回归或最近-使用给定置信度的简单统计测试的邻居分类器。
这里讨论了一个类似的问题。
其它你可能感兴趣的问题