使用百分位数和 BCa 方法计算预测误差的引导置信区间

机器算法验证 分类 置信区间 非参数 引导程序
2022-02-28 05:08:43

关于预测误差的非参数引导置信区间的计算,我有两个相关的问题。

设置:我有一个来自数据总体 P 和学习者 L 的样本 S,我想计算 0.632 引导估计器的预测误差的95% 置信区间学习器 L 在样本 S 上学习的分类器 C。θ^.632bsθ

Q1我的第一个问题是以下使用百分位数方法计算置信区间的过程是否正确。具体来说,在步骤 2 中对测试集进行抽样以评估我的分类器。我已经读过,对于每次观察,您都必须跟踪不包含该观察的引导样本的预测。根据我的说法,这似乎归结为同一件事?我用百分位数方法计算置信区间如下:Stest

  1. 我计算由 L 在 S 上学习的分类器 C的重新代入误差θresub
  2. 我计算 S 上预测误差的 N(例如 = 1000)个引导估计,如下所示:θ^i

    对于 i = 1 : 1000 做:

    • 从 S 中替换样本,直到我有一个与 S 大小相同Strain
    • 从步骤 1 中未采样的所有实例中,我再次进行替换采样,直到我有一个与 S 大小相同Stest
    • 上学习了一个分类器,上对其进行评估上的分类器性能是我的引导估计StrainStestStestθ^i
  3. 对于 N 个引导样本中的每个样本 i,我将估计值θ^i,.632bsθ^i,.632bs=0.368θresub+0.632θ^i

  4. 我对 1000 个引导估计进行排序
  5. 我选择第 25 个 bootstrap 估计作为置信区间的下限,选择第 975 个估计作为置信区间的上限。

Q2我的第二个问题是如何使用偏差校正加速 (BCa) 方法计算预测误差的 0.632 自举估计器的置信区间。也就是说,我发现我在这里有一个问题:我需要估计一个术语来进行偏差校正,而对于术语来说,加速术语(http://www.tau.ac.il/~saharon/Boot/ 10.1.1.133.8405.pdf p1153-1154)。ba

  • 要计算,我需要从完整样本 S 中估计预测误差。我不知道该怎么做。我看到了几种可能性:在所有上的平均值,重新替换错误,保留错误,对 S 执行交叉验证...?bθ^θ^i,.632bsi
  • 我在计算时遇到了同样的问题。之外的所有数据的折刀估计。我到底在这里计算什么?此计算是否与计算预测误差的留一法交叉验证估计量相同?axiSxi

我试图在文献中找到答案,但我很难理解我找到的论文,所以我希望有人能在这里帮助我。谢谢!

0个回答
没有发现任何回复~