分类精度交叉验证估计的理论结果?

机器算法验证 分类 交叉验证 pac学习
2022-03-21 14:57:42

对于分类,准确率的交叉验证估计和泛化准确率之间的理论结果是什么?

我特别询问了类似 PAC 的框架中的结果,其中没有假设您的函数类包含“真实”函数。

我很想知道是否存在以下形式的定理:如果您的留一交叉验证错误率,那么您的泛化错误率低于,概率为θNθ+εf(θ,ε,N)

如果是这样,获得它们的一般证明技术是什么?理论框架是什么?

如果一个完全一般的定理是不可能的,那么有什么额外的条件(如果有的话)可以让你得出这种结论?

1个回答

我对这些证明知之甚少,但我认为 John Langford 的论文可能是一个很好的参考。这是一个相关页面:http ://hunch.net/~jl/projects/prediction_bounds/prediction_bounds.html

以及论文可能相关的部分:http: //hunch.net/~jl/projects/prediction_bounds/thesis/mathml/thesisse15.xml#x22-300004.1