如何在没有拟合的情况下比较模型?

机器算法验证 造型 模拟 拟合优度 模型比较
2022-03-27 06:11:20

回归和机器学习在自然科学中用于检验假设、估计参数并通过将模型拟合到数据来进行预测。但是,当我有一个先验模型时,我不想进行任何拟合——例如,根据第一原理计算的确定性物理系统的模型。我只是想知道我的模型与数据的匹配程度,然后了解模型的哪些部分对匹配有显着贡献。有人可以指出我在统计上严格的方法吗?

更具体地说,假设我有一个物理系统,我在三个自变量 { 1 {尽管生成数据的真实系统很复杂,但我做了一些简化假设来推导出系统的理论模型,这样yiinx1,ix2,ix3,if

yi=f(x1,i,x2,i,x3,i)+ϵi ,

其中是自变量的非线性(且不可线性化)函数,而是模型预测值和测量值之间的差异。是完全预先指定的;没有进行拟合,也没有估计参数。我的第一个目标是确定是否是产生测量值的过程的合理模型。fϵiffyi

我还开发了简化模型,它们嵌套在中(如果在这种情况下很重要)。我的第二个目标是确定与数据的匹配是否明显优于,这表明将模型与模型的过程中起着重要作用g(x1,i,x2,i)h(x1,i)ffghfghyi

到目前为止的想法

也许如果有某种方法可以确定我的数学模型的参数数量或自由度数量,则可以使用现有程序,如似然比检验或 AIC 比较。但是,鉴于的非线性形式并且没有任何明显的参数,我不确定分配参数或假设什么构成自由度是否合理。f

我读过拟合优度的度量,例如决定系数 ( ),可用于比较模型性能。但是,我不清楚值之间有意义差异的阈值可能是多少。此外,因为我没有将模型拟合到数据中,所以残差的平均值不为零,并且每个模型可能不同。因此,倾向于低估数据的良好匹配模型可能会产生与无偏但与数据匹配不佳的模型R2R2R2

我也读过一些关于拟合优度测试的文章(例如,Anderson-Darling),但由于统计不是我的领域,我不确定这种类型的测试是否适合我的目的。任何指导将不胜感激。

2个回答

在这种情况下,您实际上是在比较3 个模型之间因此,您需要检查以下问题:ϵi

  1. 的平均值是否不同,这些平均值中的任何一个是否不同于 0?(也就是说,任何模型都存在偏差,这 3 个模型的偏差是否不同?)ϵi
  2. 与从相应模型预测的值或自变量的值是否存在系统关系即使特定模型仅使用其中的 1 个或 2 个,您也应该在此处考虑所有三个自变量。ϵix1,i,x2,i,x3,1
  3. 方差是否存在显着差异ϵi

如何最好地解决这些问题的细节将取决于您的数据的性质。例如,如果和对数转换的预测之间的差异进行分析可能是有意义的您的每个模型。yiyi

分布进行可视化分析,例如使用密度图,将是重要的第一步。ϵi

的平均值差异的标准参数或非参数统计测试将解决问题 1。ϵi

问题 2 本质上是检查任何拟合模型的质量;在您的情况下,此分析可能会显示您的一个或多个预先指定的模型无法正常工作的自变量域。与预测值和自变量值的图,用黄土曲线突出趋势,对于您的每个模型都是有用的。ϵi

如果任何模型都没有偏差并且对问题 2 的分析表明没有问题,那么剩下的问题 3 是任何模型在精度/方差方面是否优越。在每个模型中正态分布的的理想情况下, F 检验可以检验方差的相等性。ϵi

模型的概率比较,例如涉及从ϵ有一些数据(并且来自这个 AIC 或比率测试),没有什么意义。

这是因为

  1. 你已经确定模型会出错。
  2. 您最终得到的残差与您用来检验不同假设的假设误差分布无关。(您没有统计/概率模型)
  3. 您的目标不是检验假设(基础/纯科学),而是描述简化模型的预测性能(应用科学)。

大多数情况下,人们根据预测的错误百分比来描述模型。

例子:

基本上你可以用谷歌搜索任何简化现实的模型,你会发现人们用相关系数或变异百分比来描述他们与现实的差异。


我想检验“现象 A” x_3,i 对 y. 模型 f合并了现象 A while g 而 h没有,所以如果我的假设是正确的,我会预测该模型的 f性能明显优于 g 或 h

对于此类比较,您可以将测量的性能视为样本,即从更大(假设的)性能群体中提取的样本。

所以你有点希望描述错误的总体分布参数ϵ 并比较那些。您可能会认为这是概率性的。例如,您可以将其表述为“模型的平均误差是 y±x' . 您的假设是关于描述错误分布的那些参数。

然而,这种观点有点问题,因为通常用于衡量绩效的“样本”并不是真正的随机选择(例如,它是在预先定义的范围内或在选定的一组实际项目中进行的测量)。那么,任何对一般性能估计误差的量化都不应该基于随机选择模型(例如,使用样本中的方差来描述估计的误差)。因此,使用概率模型来描述比较仍然没有什么意义。仅陈述描述性数据并根据逻辑参数对概括进行“估计”可能就足够了。