再次阅读此问题后，我可以给您以下限制：

假设样本是 iid 抽取的，分布是固定的，损失为$B$，那么至少有概率$1 - \delta$,

$$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$$

在哪里$m$是样本量，并且$1-\delta$是信心。界限因 McDiarmid 不等式而微不足道。

$m$是样本量，$\mathbb{E}[\mathcal{E}(h)]$是泛化误差，并且$\hat{\mathcal{E}}(h)$是假设的检验误差。

请不要只报告交叉验证错误或测试错误，因为它们只是点估计，所以通常没有意义。

---

旧帖记录：

我不确定我是否完全理解你的问题，但我会尝试一下。

首先，我不确定您将如何定义模型选择的预测区间，因为据我了解，预测区间会做出一些分布假设。相反，您可以推导出浓度不等式，它本质上是通过随机变量的方差来限制某个概率的。通过机器学习使用浓度不等式，包括用于提升的高级理论。在这种情况下，您希望通过经验误差（您在测试集上的错误）加上一些复杂性术语和与方差相关的术语来限制泛化误差（通常是您的错误，您没有看到的点）。

现在我需要消除一个关于交叉验证的非常普遍的误解。交叉验证只会给您一个固定样本大小的模型的预期误差的无偏估计。对此的证明仅适用于留一法。这实际上相当弱，因为它没有提供有关方差的信息。另一方面，交叉验证将返回一个接近结构风险最小化解决方案的模型，这是理论上的最佳解决方案。您可以在此处的附录中找到证明：http ://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

那么如何推导出泛化界呢？（请记住，泛化界限基本上是关于特定模型的泛化误差的预测区间）。好吧，这些界限是特定于算法的。不幸的是，只有一本教科书对机器学习中所有常用算法（包括提升）进行了限制。这本书是 Mohri、Rostamizadeh 和 Talwalkar 的《机器学习基础》（2012 年）。对于涵盖该材料的讲座幻灯片，您可以在 Mohri 的网页上找到它们：http ://www.cs.nyu.edu/~mohri/ml14/

虽然 Elements of Statistical Learning 是一本重要且有一定帮助的书，但它不是很严谨，并且省略了许多关于算法的非常重要的技术细节，并且完全省略了任何类型的泛化界限。Foundations of Machine Learning 是最全面的机器学习书籍（这很有意义，因为它是由该领域的一些最优秀的人编写的）。但是，教科书是高级的，所以要小心技术细节。

提升的泛化界限可以在这里找到（有证明）：http ://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

我希望这些是足够的指针来回答你的问题。我对给出一个完整的答案犹豫不决，因为它需要大约 50 页来浏览所有必要的细节，更不用说初步讨论了......

祝你好运！