“平方损失”和“均方误差”之间有什么关系?

数据挖掘 机器学习 损失函数
2022-01-26 12:53:16

损失函数是机器学习的重要组成部分。

平方损失是最流行的损失函数之一。

均方误差(MSE) 测量估计值与估计值之间的均方差

估计值表示为,估计的值表示为y^y

MSE=1mi=1m(yiy^i)2.

在距离/差异的背景下,似乎 MSE 和平方损失做同样的工作。

“平方损失”和“均方误差”之间有什么关系?

3个回答

V(f(x),y)=(1yf(x))2

的分类上下文中:yi11

MSE=1mi=1m(yif(xi))2=1mi=1myi2(1yif(xi))2=1mi=1m(1yif(xi))2=1mi=1mV(f(xi),yi)

平方损失是模型中的误差总量。但是,这取决于您拥有的观察次数。如果您有一万亿次观察,十亿的损失可能不会那么糟糕。另一方面,如果您有 25 个观察值,则损失 500 可能会很糟糕。MSE 通过对所有观测值的损失进行平均来计算观测值的数量。前一个示例中的 MSE 为 0.001,而后一个示例中的 MSE 为 20。

如果你考虑一个分类问题,平方损失类似于未命中的数量,而 MSE 类似于准确度。如果您尝试更多分类,您将有更多不正确的分类,但这并不意味着当您尝试多次分类时您的模型性能会更差。

除了计算机上的数值技术性之外,您应该通过最小化平方损失或 MSE 损失函数来找到相同的模型,因此从某种意义上说,您可以说它们“做同样的工作”。

如果我们取整个数据的平方误差,MSE 和 SE 会有区别吗?其次,在神经网络的向量化实现中,我们将划分批量大小以采用 MSE。

考虑小批量梯度下降? 全局void loss(double* X, double* Y, double *Z, size_t n) {

size_t index = blockIdx.x * blockDim.x + threadIdx.x;

if (index < n) {
    Z[index] = ((X[index] - Y[index]));
}

}