您所询问的通用术语是模型选择。您有一组可能的模型，在这种情况下类似于 并且您想确定哪些模型对您的数据最简洁。我们通常担心简约而不是最佳拟合（即最高

$$\begin{aligned} y&=\beta_1x + \beta_0\\ y&=\beta_2x^2 + \beta_1x + \beta_0 \\ y&=\beta_3x^3 + \beta_2x^2 + \beta_1x + \beta_0 \\ \end{aligned}$$ $R^2$) 因为复杂的模型可能会“过度拟合”数据。例如，假设您的时序数据是由二次算法生成的，但是时序中有一点噪音（操作系统的随机分页、时钟不准确、宇宙射线等等）。二次模型可能仍然相当适合，但它不会是完美的。但是，我们可以找到一个（非常高阶的）多项式来遍历每个数据点。这个模型非常适合，但在做出未来预测时会很糟糕，而且显然也不符合潜在的现象。我们希望平衡模型的复杂性和模型的解释力。如何做到这一点？

有很多选择。我最近偶然发现了 Zucchini 的这篇评论，这可能是一个很好的概述。一种方法是计算类似于AIC（Akaike Information Criterion）的东西，它调整每个模型的可能性以考虑参数的数量。这些通常相对容易计算。例如，AIC 是： 其中 L 是给定模型的数据的可能性，k 是参数的数量（例如，2 表示线性，3 表示二次等）。您为每个模型计算此标准，然后选择具有最小 AIC 的模型。

$$AIC = 2k -2ln(L)$$

另一种方法是使用交叉验证（或类似的方法）来证明你的模型都没有过拟合。然后，您可以选择最合适的模型。

这是一般情况。但是，正如@Michelle 上面提到的，如果您对潜在的现象有所了解，您可能根本不想进行模型选择。在这种情况下，如果您有代码或知道底层算法，您应该只跟踪它以确定算法的顺序。

另外，请记住，算法的 Big-O 阶在技术上并不是根据观察到的运行时间的最佳拟合来定义的；它更像是一个限制属性。你可以有一个算法，它的运行时有一个巨大的线性分量和一个小的二次分量，比如 我敢打赌，一个运行时与输入大小的图会很漂亮线性查看您可能测试的范围，但我相信该算法在技术上将被视为

$$t(N) = 0.0000001n^2 + 999999999n$$ $O(n^2)$

模型选择将导致对残差方差的估计偏低。这将偏向推理的所有其他方面并膨胀。的无偏估计在分母中具有，其中是不包括截距的预先指定参数的数量。目前尚不清楚模型选择是否会有所帮助。可以只使用具有默认节点位置的回归样条曲线（通常基于预测变量分布的分位数），根据有效样本大小将支持的复杂性选择节点数。R包使这变得简单，课程笔记位于http://biostat.mc.vanderbilt.edu/rms$R^2$$\sigma^2$$n - p - 1$$p$rms会有所帮助。删除“不重要”的术语会损害推理。如果建模不是高度结构化的，则使用 AIC 有时会适得其反。个结，我使用 AIC 来告诉我大量预测器的最佳结点数。这种结构最大限度地减少了模型不确定性造成的损害。$k$$k$

我不是 100% 确定，但如果模型是时候对数据进行排序，你可能应该包括一个或类似的东西（也许是它的），因为我认为这个术语出现在排序数据的理论时间复杂度计算。$x\log(x)$$x^2\log(x)$