机器算法验证 - 如何在不增加 kNN 偏差的情况下增加维度来增加方差？ - 吾爱随笔录

如何在不增加 kNN 偏差的情况下增加维度来增加方差？

机器算法验证方差偏见 k-最近邻

2022-04-07 09:03:54

我的问题是关于理解The Elements of Statistical Learning (2nd edition)中的图 2.8 。本节的主题是增加维度如何影响偏差/方差。

ESL中的图2.7我能大致看懂，但对2.8一窍不通。关于大致不变的偏差或主导方差的任何解释？我无法想象当维度增加时它们会如何变化。

以下是详细信息：

假设我们有 1000 个训练样例上均匀生成。假设和（变量的大写字母）之间的真实关系是其中表示 X 的第一个分量总共p分量，换句话说，特征）。我们使用 1-nearest-neighbor 规则在测试点处预测。表示训练集。我们可以计算 $x_i$ $[-1,1]^p$ $X$ $Y$

Y = F (X) = \frac{1}{2} (X_{1} + 1)^{3}

$Y=F(X)=\frac12(X_1 + 1)^3$

X_{1}

$X_1$

X

$X$

X

$X$

p

$p$

y_{0}

$y_0$

x_{0} = 0

$x_0 = 0$

T

$\mathcal{T}$

x_{0}

$x_0$ 对于我们的程序，对大小为 1000 的所有此类样本进行平均。这是估计：

f (0)

$f(0)$

\begin{aligned} MSE (x_{0}) & = E_{T} [f (x_{0}) - {\hat{y}}_{0}]^{2} \\ = E_{T} [{\hat{y}}_{0} - E_{T} ({\hat{y}}_{0})]^{2} + [E_{T} ({\hat{y}}_{0}) - f (x_{0})]^{2} \\ = {Var}_{T} ({\hat{y}}_{0}) + {Bias}^{2} ({\hat{y}}_{0}) \end{aligned}

$\begin{align} \operatorname{MSE}(x_0) &=E_{\mathcal{T}}[f(x_0)-\hat{y}_0]^2 \\ &= E_{\mathcal{T}}[\hat{y}_0-E_{\mathcal{T}}(\hat{y}_0)]^2 + [E_{\mathcal{T}}(\hat{y}_0)-f(x_0)]^2 \\ &= \operatorname{Var}_{\mathcal{T}}(\hat{y}_0) + \operatorname{Bias}^2(\hat{y}_0) \end{align}$

图如下。右图是（维度）增加的情况。 $p$

ESL 中的图 2.8

2个回答

首先，分类器的偏差是其平均估计函数与真实函数之间的差异，而分类器的方差是估计的预测函数与其平均值的预期偏差（即分类器对随机抽样的依赖程度）在训练集中制作）。

因此，偏差的存在表明模型存在基本问题，而方差也很糟糕，但具有高方差的模型至少可以平均预测得很好。

理解生成图 2.7 和 2.8 的示例的关键是：

方差是由于 1-最近邻的抽样方差。在低维和时，最近邻非常接近，因此偏差和方差都很小。随着维度的增加，最近邻点往往会偏离目标点更远，并且会产生偏差和方差。通过，对于超过的样本，最近邻距原点的距离大于 $N = 1000$ $0$ $p$ $p = 10$ $99\%$ $0.5$

回想一下生成图 2.7 的示例的目标函数取决于个变量，因此 MSE 误差主要是由于偏差。 $p$

相反，在图 2.8 中，示例的目标函数仅取决于变量，因此方差占主导地位。更一般地说，当您处理低维度时会发生这种情况。 $1$

我希望这会有所帮助。

嗯，我不知道回答自己问的问题是否合适……但我想我有一个比较直观的答案，我只是想分享一下。

首先让我在图 2.7 中添加真正的函数进行比较：而图 2.8 中的一个是

Y = f_{1} (X) = e^{- 8 | | X | |^{2}}

$Y=f_1(X)=e^{-8||X||^2}$

Y = f_{2} (X) = \frac{1}{2} (X_{1} + 1)^{3}

$Y=f_2(X)=\frac12(X_1+1)^3$

正如@stochazesthai 所说，2.7 的真正功能取决于所有组件，而 2.8 仅组件。另一方面，1-NN 算法涉及普通范数（默认情况下），因此距离由所有分量测量。另一件要提的是，期望被带到样本分布 $p$ $1$ $\hat{y}$

现在考虑输入。给定任何距离到原点的距离，当的值只有选择，即和。当增加时，在任意固定距离下，的选择将急剧增加，其中第一个分量的值可以越来越自由地振荡。 $X$ $d$ $p=1$ $2$ $X$ $d$ $-d$ $p$ $X$ $X_1$

然后考虑 1-NN。当增加时，正如@stochazesthai 所引用的那样，原点最近的邻居很可能会远离，这意味着最小的会很大。 $p$ $||X||$

因此对于（其中），会增加很多，因此偏差会显着增加；但同时也会很大概率很大，所以方差不会增加太多。 $f_1$ $||X||$ $E(\hat{y}_0)$ $p$ $\hat{y}_0$

另一方面，对于（仅），当增加时，正如我上面提到的，在相同的距离 $f_2$ $X_1$ $p$ $X_1$ $E_{\mathcal{T}}(\hat{y}_0)$ . 所以方差的增加将占主导地位，但是 $E_{\mathcal{T}}(\hat{y}_0)$ 本身不会有太大变化，因此与方差相比，偏差将大致保持不变。

希望它有点帮助。

其它你可能感兴趣的问题

上一篇R中是否有任何常用于半监督学习的包？下一篇用于简单线性回归的梯度下降方法优于规范方法（用于 OLS/MLE）的动机？