线性回归的偏差-方差分解中的方差项

机器算法验证 回归 线性模型 偏差-方差-权衡
2022-03-23 00:16:54

在“统计学习的要素”中,线性模型的偏差-方差分解的表达式为 其中是实际的目标函数,是模型中随机误差的方差是 f(x) 的线性估计

Err(x0)=σϵ2+E[f(x0)Ef^(x0)]2+||h(x0)||2σϵ2,
f(x0)σϵ2y=f(x)+ϵf^(x)f(x)

方差项在这里让我感到困扰,因为该等式意味着如果目标是无噪声的,则方差将为零,即但这对我来说没有意义,因为即使噪声为零,对于不同的训练集,我仍然可以获得不同的估计量,这意味着方差不为零。σϵ2=0.f^(x0)

例如,假设目标函数是一个二次函数,并且训练数据包含从该二次函数中随机采样的两个点;显然,每次我从二次目标中随机采样两个点时,我都会得到不同的线性拟合。那么方差怎么可能为零呢?f(x0)

谁能帮我找出我对偏差方差分解的理解有什么问题?

1个回答

偏差和方差的处理总是潜伏着微妙之处,在学习时要特别注意它是很重要的。如果您重新阅读该章节中 ESL 的前几句话,作者对它表示敬意。

错误率估计的讨论可能会令人困惑,因为我们必须弄清楚哪些数量是固定的,哪些是随机的

微妙之处在于什么是固定的,什么是随机的

在线性回归的传统处理中,数据被视为固定且已知的。如果你遵循 ESL 中的论点,你会发现作者也在做这个假设。在这些假设下,您的示例不会发挥作用,因为给定的条件分布中唯一剩余的随机性来源如果有帮助,您可能想替换您脑海中 ) 。XyXErr(x0)Err(x0X)

这并不是说您的担忧是无效的,训练数据的选择确实确实在我们的模型算法中引入了随机性,勤奋的实践者会尝试量化这种随机性对其结果的影响。事实上,您可以很清楚地看到,引导和交叉验证的常见做法明确地将这些随机性来源纳入他们的推论中。

为了在随机训练数据集的上下文中导出线性模型的偏差和方差的明确数学表达式,需要对数据中的随机性结构做出一些假设。这将涉及对分布的一些假设。这是可以做到的,但还没有成为这些思想的主流阐述的一部分。XX