数据挖掘 - 二元分类机器学习模型中的高方差意味着什么？ - 吾爱随笔录

二元分类机器学习模型中的高方差意味着什么？

数据挖掘机器学习分类方差

2021-10-12 06:03:28

我对高方差的理解是目标分布广泛。输出值“无处不在”。

在二元分类模型中，只能有 2 个结果。在可视化二元分类模型中的高方差意味着什么时，我不知所措。

1个回答

您已经正确地直觉到，在这种情况下，方差不是一个有用的概念。统计学家通常会转而查看二项式偏差（请参阅此处了解全面的技术发展）。

如果您确实想考虑方差，我们可以认识到许多二元分类器输出标签的估计值 $\hat{Y}$ . 在这里考虑一个随机分类器会有所帮助，该分类器估计 $P(Y=1|X=x) = E[Y|X=x]$ （称这个估计 $\hat{p}(x)$ ) 并生成 $\hat{Y} = 1$ 有概率 $\hat{p}(x)$ , $\hat{Y} = 0$ 否则。我们有

v 一个 r (\hat{是} | X = X) = 乙 [(\hat{是} - 乙 [\hat{是} | X = X])^{2} | X = X] .

$var(\hat{Y}|X=x) = E[(\hat{Y} - E[\hat{Y}|X=x])^2|X=x].$ 当分类器在看到协变量后对分类更加确定时，这将更小。即，如果

\hat{p}

$\hat{p}$ 始终为 1 或 0，则方差为 0（但当然偏差会很大）。如果训练数据中每个类的数量相等，并且分类器无法从协变量中学到任何东西，那么

\hat{p} = \frac{1}{2}

$\hat{p} = \frac{1}{2}$ 对于任何

x

$x$ 所以方差是

\frac{1}{4}

$\frac{1}{4}$ ——正如我们所料，抛硬币。

其它你可能感兴趣的问题

上一篇卷积神经网络中的层形状计算（pyTorch）下一篇如何处理仅在列中出现一次的值？