均方误差可以用于分类吗?

机器算法验证 机器学习 分类 毫秒
2022-02-12 16:26:13

我知道均方误差公式以及如何计算它。当我们谈论回归时,我们可以计算均方误差。但是,我们能否谈谈分类问题的 MSE 以及如何计算它?

4个回答

许多分类器可以预测连续分数。通常,连续分数是中间结果,仅作为分类的最后一步转换为类别标签(通常按阈值)。在其他情况下,例如可以计算类别成员的后验概率(例如判别分析、逻辑回归)。您可以使用这些连续分数而不是类标签来计算 MSE。这样做的好处是可以避免由于二分法而导致的信息丢失。
当连续得分为概率时,MSE 度量称为 Brier 得分。

但是,也有一些分类问题是变相的回归问题。在我的领域中,例如可以根据某种物质的浓度是否超过法律限制对案件进行分类(这是一个二元/判别二类问题)。在这里,由于任务的潜在回归性质,MSE 是一个自然的选择。

在本文中,我们将其解释为更通用框架的一部分: C. Beleites、R. Salzer 和 V. Sergo:
使用部分类成员身份验证软分类模型:应用于星形细胞瘤组织分级的敏感性和 Co. 的扩展概念
化学。英特尔。实验室。系统,122(2013),12 - 22。

如何计算它:如果你在 R 中工作,一种实现是在包“softclassval”中,http:/softclassval.r-forge.r-project.org。

对于概率估计π^您不想计算 MSE(Norma 随机变量的对数似然),而是使用 Bernoulli 随机变量的似然

L=iπ^iyi(1π^i)1yi

这种可能性适用于假定具有伯努利分布的二元响应。

如果你记录L然后取反,你得到逻辑损失,当你有一个二元响应时,这有点类似于 MSE。特别是,MSE 是假设具有正态分布的连续响应的负对数似然。

我不太明白......成功的分类是一个二元变量(正确与否),所以很难看出你会平方。

一般来说,分类是根据正确百分比等指标来衡量的,当从训练集估计的分类应用于之前预留的测试集时。

均方误差当然可以(并且是)为连续变量的预测或预测值计算,但我认为不能用于分类。

从技术上讲你可以,但 MSE 函数对于二元分类是非凸的。因此,如果使用 MSE 成本函数训练二元分类模型,则不能保证最小化成本函数此外,使用 MSE 作为成本函数假设了高斯分布,而二进制分类不是这种情况。