如何评估确定性数学模型输出的准确性?
例如,气候模型可以预测特定位置的年平均温度 (MAT)。我可以使用该模型来预测纽约市 30 年的 MAT,。现在假设我在纽约市观察到同样 30 年的 MAT,。
是否有统计检验?我可以评估数学模型的准确性吗?
如何评估确定性数学模型输出的准确性?
例如,气候模型可以预测特定位置的年平均温度 (MAT)。我可以使用该模型来预测纽约市 30 年的 MAT,。现在假设我在纽约市观察到同样 30 年的 MAT,。
是否有统计检验?我可以评估数学模型的准确性吗?
一个不错的第一步可能是计算模型的预测(“数据 A”)和观察到的温度(“数据 B”)之间的相关性。相关性范围从 -1 到 +1:0 表示预测值和观察值之间没有(线性)关系,而较高的值表明您的模型与观察数据更好地吻合(达到比例因子)。在 R 中可以很容易地用cor函数计算相关性。该cor.test函数对两个变量之间的关联进行了一些测试。
您还应该只绘制数据并查看它。您的模型可能不会在所有条件下都表现得同样好(例如,它可能在冰点附近发生故障)
您可以尝试更复杂的事情,但我认为这些是合理的第一步。
你的问题听起来令人困惑。当您说模型的准确性时,您是指它的预测能力,还是指它模拟纽约市天气行为的能力?我不认为你可以评估后者。至于前者,我会计算均方预测误差。我的意思是使用该模型来预测 30 年中每一年的年平均温度(大概基于模式需要获得估计值的可用输入)并取其与实际记录的年平均温度之间的平均平方差。这给你一个估计,但不是估计的准确性。因此,您可能对准确性有一个标准,并且您想检验准确性优于某个水平的假设。现在我可以对如何做到这一点给出一个有点模糊的描述。诚然,它含糊不清,因为我不知道模型中有哪些输入来进行预测。这个想法是对输入进行小扰动,看看这些扰动如何影响预测的准确性。这将为您提供均方误差的分布,您可以从中估计假设的 p 值。所有这一切都假设您有一种明智的方法来扰乱输入,这些输入将表征输入中的采样可变性。然后,所得估计值将提供单个预测的可变性的表示,并由此提供估计的均方预测误差的可变性。这个想法是对输入进行小扰动,看看这些扰动如何影响预测的准确性。这将为您提供均方误差的分布,您可以从中估计假设的 p 值。所有这一切都假设您有一种明智的方法来扰乱输入,这些输入将表征输入中的采样可变性。然后,得到的估计将提供单个预测的可变性的表示,并由此提供估计的预测均方误差的可变性。这个想法是对输入进行小扰动,看看这些扰动如何影响预测的准确性。这将为您提供均方误差的分布,您可以从中估计假设的 p 值。所有这一切都假设您有一种明智的方法来扰乱输入,这些输入将表征输入中的采样可变性。然后,得到的估计将提供单个预测的可变性的表示,并由此提供估计的预测均方误差的可变性。
我建议使用两种方法来评估确定性数学模型是否表现良好——这两种方法实际上都不涉及统计检验,尤其不涉及试图将模型性能降低到 p 值。
正如其他人所建议的那样,您还可以比较您的预测输出和系统的实际输出之间的误差,尽管这只是给您一个您试图最小化的数字,而不是实际的统计估计。设计要进行统计测试的数学模型很难倒退——您需要的元素通常需要在模型设计步骤中讨论,就像研究一样。
我最近为确定性太阳辐照度预测设计了一个验证框架。它基于这样的洞察力,即完美预测的结果和预测必须在数学上是可交换的。一般适用于连续随机变量的预测。见https://doi.org/10.1016/j.renene.2021.08.032