机器算法验证 - 何时会保持最优模型？方差=偏见2Variance=Bias2 - 吾爱随笔录

机器算法验证机器学习偏差-方差-权衡

2022-03-17 18:45:10

让我们在模型选择的背景下考虑偏差-方差分解。下图表明最佳模型（最小化预期平方预测误差的模型）将具有。 $\text{Variance}=\text{Bias}^2$

这看起来像是一个非常特殊的情况，因为机器学习教科书中的相应图表通常是不对称的。参见例如 James 等人。《统计学习导论》图2.12：

我认为初始图片的奇怪结果取决于方差曲线和平方偏差曲线是凸的且相当对称。凸性可能是明智的，但我不太确定近似对称性。

问题：哪些具体设置（模型类和数据生成过程）（至少近似地）保持最优模型？ $\text{Variance}=\text{Bias}^2$

PS没有必要解决初始图片是否必须保持一般的问题，因为这可能会导致该线程偏离轨道。答案显然是否定的，如上文和斯蒂芬科拉萨的回答所示。

2个回答

下图表明最佳模型（最小化预期平方预测误差的模型）将具有。 $\text{Variance}=\text{Bias}^2$

很抱歉在你的游行中下雨，但这不一定成立。图片具有误导性。不，这不是你问题的答案，但我认为这完全降低了我们对它的兴趣......

例如，假设模型复杂度在一维中参数化。平方偏差由方差由因此总误差由 $x$ $0\leq x\leq 1$

b (x) = 1 - \sqrt{x},

$b(x) = 1-\sqrt{x},$

v (x) = x^{2},

$v(x) = x^2,$

e (x) = b (x) + v (x) = 1 - \sqrt{x} + x^{2} .

$e(x) = b(x)+v(x) = 1-\sqrt{x}+x^2.$

偏差在减少，方差在增加，两者都是凸的，并且在远离交点 $x=\frac{1}{4^\frac{2}{3}}$

如果我们假设偏差和方差是对称的，那么在交叉点出现的最小误差的结果确实应该成立。但是，它们需要关于某个特定的值对称，然后那个特定的值将变成最小的错误复杂度。我不认为这种对称性很常见，因此也不会很有趣。 $x$ $x$

何时会保持最优模型？ $Variance=Bias^2$

我认为可以建立一些特别的例子，但不能存在一般规则。

首先说偏差-方差权衡(BVT) 的故事仅在预测中很重要。阅读此处（最小化预测误差与参数估计误差之间的关系是什么？）。因此，我们在一侧有一个真实模型，在另一侧有几个“建议/估计”模型；在最后一个我们寻找最好的。

一般来说，最小化 MSE 的建议/估计模型的复杂程度关键取决于真实模型。然后，BVT 的故事似乎可以告诉我们，在具有中等复杂度的真实模型下，像这样的东西可以适用于最佳估计模型（最小 MSE）。 $Variance = Bias^2$

然而，这种观点没有考虑到必须在精确的数据量下分析 BVT。如果可用数据的数量发生变化，则最佳建议/估计模型变化；事实上，如果我们有无限量的数据，那么只有很重要。 $Bias$

相关的“对称性”的相关性大幅下降。 $Variance = Bias^2$

其它你可能感兴趣的问题