首先你必须决定你是否真的需要模型选择，或者你只需​​要建模。在大多数情况下，根据维度，拟合灵活的综合模型是首选。

bootstrap 是评估模型性能的好方法。最简单的估计是方差。更重要的是，引导程序可以估计给定建模过程在尚未实现的新数据上可能的未来性能。

如果使用重采样（引导或交叉验证）来选择模型调整参数和估计模型，则需要双引导或嵌套交叉验证。

一般来说，bootstrap 需要的模型拟合（通常约为 300 次）比交叉验证（10 倍交叉验证应重复 50-100 次以保持稳定性）更少。

一些模拟研究可以在http://biostat.mc.vanderbilt.edu/rms找到

考虑使用引导程序进行模型平均。

下面的论文可能会有所帮助，因为它将引导模型平均方法与（更常用的？）贝叶斯建模平均方法进行了比较，并列出了执行模型平均的方法。

Bootstrap 模型平均在颗粒物空气污染和死亡率的时间序列研究中