让一个给定假设的函数返回该固定的泛化误差。
我正在阅读一些关于模型选择和泛化错误的注释，它说：
“如果我们可以访问，也不会有模型选择问题。我们只需选择大的 ，以便找到一个最小化错误的分类器。”
我不确定我是否完全理解或理解该声明或实际上是否同意该声明。原因是，即使我们可以访问并且只是说出其真正的泛化错误的预言机），我认为找到这样的模型仍然是有问题的有很好概括的假设。原因是，假设模型类是无限的（即有无限的模型可供选择）。我们真的不知道何时达到最小值，除非我们检查每个这是可能的。即，即使我们有这样的事情，我认为问题不会那么容易消除，因为我们怎么能确定我们真的找到了最好的（在多项式时间内）？基本上我觉得这个问题假设我们有一个预言机来确定什么时候泛化是最小的。此外，正如我所指出的，建议的算法/车床是可确定的，而不是在 P 中（即它可能永远运行......）
我对这个问题的主要问题/怀疑是，即使有这样的 Oracle，我也不相信模型选择已经变得微不足道，一个试图解决这个特定问题的答案，有更高的机会更好地解决我的问题。
基本上我觉得这个问题假设我们有一个预言机来确定什么时候泛化是最小的。
当然，拥有这个就很棒了。拥有一个为我们提供最佳模型的预言机会更好。但是，您似乎误解了 oracle 的功能。
模型选择的任务是从给定的集合中选择最好的模型。我们通过选择我们认为具有最佳泛化性能的模型来做到这一点。没有预言机告诉我们我们被迫估计泛化性能，比如说。
因为我们需要根据估计的泛化性能来选择模型，所以我们不能保证选择正确的模型。这就是使模型选择变得棘手（而且有些武断）的原因。如果我们能够获得真正的泛化性能，那么模型选择将是微不足道的。
原因是，假设模型类是无限的（即有无限的模型可供选择）。
这是一个很好的理论问题，但与实际问题有些相切，因为人们通常希望在有限的选项集中选择最佳模型。
你是正确的，一组真正无限的模型会在不做进一步假设的情况下产生一个不可判定的问题。然而，在实践中，一些进一步的假设是合理的。
假设的函数形式对于给定模型类（例如凸）的超参数以某种方式表现是常见且通常合理的。如果这样的假设成立，则可以在多项式时间内找到全局最优超参数。