对于分类,准确率的交叉验证估计和泛化准确率之间的理论结果是什么?
我特别询问了类似 PAC 的框架中的结果,其中没有假设您的函数类包含“真实”函数。
我很想知道是否存在以下形式的定理:如果您的留一交叉验证错误率在,那么您的泛化错误率低于,概率为。
如果是这样,获得它们的一般证明技术是什么?理论框架是什么?
如果一个完全一般的定理是不可能的,那么有什么额外的条件(如果有的话)可以让你得出这种结论?
对于分类,准确率的交叉验证估计和泛化准确率之间的理论结果是什么?
我特别询问了类似 PAC 的框架中的结果,其中没有假设您的函数类包含“真实”函数。
我很想知道是否存在以下形式的定理:如果您的留一交叉验证错误率在,那么您的泛化错误率低于,概率为。
如果是这样,获得它们的一般证明技术是什么?理论框架是什么?
如果一个完全一般的定理是不可能的,那么有什么额外的条件(如果有的话)可以让你得出这种结论?
我对这些证明知之甚少,但我认为 John Langford 的论文可能是一个很好的参考。这是一个相关页面:http ://hunch.net/~jl/projects/prediction_bounds/prediction_bounds.html
以及论文可能相关的部分:http: //hunch.net/~jl/projects/prediction_bounds/thesis/mathml/thesisse15.xml#x22-300004.1