如何衡量预测的信心?

数据挖掘 机器学习 预测建模
2021-09-20 06:26:23

我建立了一个预测模型并根据新数据进行预测。我现在想指定我对这个预测值的信心值,例如从 0 到 1。我想到了三种方法

  1. 在自举数据上构建 100 个模型,对每个新观测值进行 100 次预测,然后计算置信区间。更小的区间意味着更高的置信度。高计算工作量。
  2. 使用来自每棵树的随机森林的 oob 预测
  3. 贝叶斯方法可以通过后验给出置信区间

还有其他/更好的吗?

2个回答

如果您对数据的潜在分布有足够的信息,回归模型的经典统计理论是一个明显的选择。这些模型总是带有很好的误差估计推导。有关全面概述,请参阅 Frank Harrell 的“回归建模策略”。

贝叶斯方法(例如马尔可夫链蒙特卡洛、变分贝叶斯)可能确实很适合,但您可以探索它们与其他方法的组合,例如贝叶斯深度学习(例如this),它可以学习信息的中间表示。