k-Fold 交叉验证的 RMSE 是多少?

机器算法验证 交叉验证 错误 有效值
2022-03-13 15:12:06

我正在测试一个神经网络来预测数值。为此,我正在使用培训、验证和测试拆分。我做了一个手动的 4-Fold CV,这意味着我得到了 4 个 RMSE 误差,每个都是测试数据上第 i 个折叠的误差。

我如何获得所有 4 折的全局 RMSE。会是(rmse_1 + rmse_2 + rmse_3 + rmse_4)/(所有预测的数量)

2个回答

为了正确,您应该将整体 RMSE 计算为 RMSE12++RMSEk2k

编辑:我刚刚从你的问题中得到,可能有必要稍微解释一下我的答案。交叉验证实例其中的估计值,是 CV 实例的观察次数。现在整体 RMSE 类似于而不是你提出的RMSEjji(yijy^ij)2Njy^ijyijNjjji(yijy^ij)2Njkji(yijy^ij)2NjjNj

这不是一个很好的参考,但是在这个笔记本中(查找以“现在让我们使用 10 倍 x 验证计算 RMSE”的单元格)它们将所有预测的平方误差(使用点积)相加验证,然后最后除以预测数和平方根,即;

1nkj(yjkyjk^)2

这对我来说最有意义,在 user1449306 给出的答案中,折叠的大小会产生影响,这没有意义吗?

为了从 RMSE 列表中得出这一点,可以将它们各自平方并乘以每个测试点的数量,然后加在一起并除以测试点的总数(然后平方根)。罗兰的评论是正确的。