RMSE 与 MSE 损失函数 - 优化解决方案是等价的吗?

机器算法验证 机器学习 优化 毫秒 非线性 有效值
2022-03-28 01:47:20

如果我们针对定义为 RMSE的损失我们会得到与优化 MSE 相同的解决方案吗?甚至,如果函数是非线性的(例如神经网络)?fLf

2个回答

RMSE是 MSE 的平方根。如果你取一堆数字的平方根,它们的相对顺序不会改变。对于优化,重要的是不同解决方案的相对顺序。但是请注意,如果您对正则化使用惩罚,例如,则解决方案可能会有所不同,因为惩罚相对于原始损失的大小会发生变化L1L2

除了@Tim (+1) 的回答,我想添加一些其他观点(也重复一些事情)。如果有些x是 RMSE 的极小值 (0),它们是 MSE 的最小值,因为操作是单调的,例如 (2<322<32)。因此,对于 MSE,如果存在多个优化器,则存在相同的一组全局优化器。

但是,优化算法并不完美,最终会出现局部最优。损失函数的微小变化会影响您的梯度步骤(例如,两个损失函数的相应学习率会不同),因此可能会导致您获得另一个局部最优值。因此,很有可能最终出现在不同的位置。