背景:关于如何校准预测结果发生概率的模型,这里有一些很好的问题/答案。例如
- Brier 分数,并将其分解为分辨率、不确定性和可靠性。
- 校准图和等渗回归。
这些方法通常需要对预测概率使用分箱方法,以便通过取平均结果在分箱上平滑结果 (0, 1) 的行为。
问题: 但是,我找不到任何指导我如何选择 bin 宽度的东西。
问题:如何选择最佳的 bin 宽度?
尝试:使用中的两种常见的 bin 宽度似乎是:
- 等宽分箱,例如 10 个分箱,每个分箱覆盖区间 [0, 1] 的 10%。
- 此处讨论了 Tukey 的分箱方法。
但是,如果人们有兴趣在预测概率中找到校准最差的区间,那么这些箱的选择是否是最优化的?