交叉验证在这里可能会很好。为此,您将数据集分成两部分。您使用第一部分来拟合两个模型,然后使用拟合模型来预测第二部分。这可以证明是对模型选择的完全贝叶斯方法的近似。我们有一个模型的可能性Mi
p(d1d2...dN|MiI)=p(d1|MiI)×p(d2|d1MiI)×p(d3|d1d2MiI)×..
..×p(dN|d1d2...dN−1MiI)
这可以启发式地视为一系列预测,然后从错误中学习。您无需训练即可预测第一个数据点。然后,您在了解第一个数据点的模型后预测第二个数据点。然后在使用前两个数据点了解模型后预测第三个数据点,依此类推。现在,如果您有足够大的数据集,那么模型的参数将在一定数量的数据之外得到很好的确定,我们将拥有一些价值k:
p(dk+2|d1....dkdk+1MiI)≈p(dk+2|d1....dkMiI)
模型无法再“学习”参数,基本上只是根据第一个进行预测k观察。所以我会选择k(第一组的大小)足够大,以便您可以准确地拟合模型,20-30每个参数的数据点可能就足够了。你也想选择k足够大,使得依赖dk+1...dN被忽略并不会使近似值变得无用。
然后我会简单地评估每个预测的可能性,并将它们的比率解释为似然比。如果比例大约1, 那么没有一个模型比另一个模型特别好。如果离得很远1那么这表明其中一个模型的表现优于另一个。低于 5 的比率为弱,10 为强,20 为非常强,100 为决定性(对应于小数的倒数)。