机器算法验证 - 理解均方误差函数的最小化 - 吾爱随笔录

理解均方误差函数的最小化

机器算法验证回归可能性数理统计

2022-03-27 20:23:00

我尝试最小化均方误差函数，定义为：

$E\left[Y - f(X)\right]^2$

我在以下几行中总结了来自不同在线资源（例如，URL 1 (p. 4)、URL 2 (p. 8)）的最小化过程。

先加减： $E[Y | X]$

$E\left[\left\lbrace(Y - E[Y | X]) - (f(X) - E[Y|X])\right\rbrace^2\right]$

扩大二次收益率：

$E\left[\left(Y - E[Y|X]\right)^2 + \left(f(X) - E[Y|X]\right)^2 - 2 \left(Y - E[Y|X]\right)\left(f(X) - E[Y|X]\right)\right]$

第一项不受选择的影响；第三项是，则整个表达式被最小化。 $f(X)$ $0$ $f(X) = E(Y|X)$

问题一：想知道加减在程序的第一步？ $E[Y | X]$

问题 2：如何用通俗易懂的英语解释为什么二次方的第三项是？ $0$

2个回答

关于您的第一个问题，加减法是统计中的一个技巧，通常用于更轻松地处理某些表达式。通过加法和减法，您不会改变方程式，但可以将某些项分组以更容易地获得结果。

对于您的第二个问题，为了更正式地说明这一点，我们要显示条件期望函数 (CEF) 预测属性：我想在问题中没有说明是最小化参数会引起一些人的困惑。CEF 还具有以下分解性质：其中是一个随机变量，使得且 .

E (Y | X) = {arg min}_{f (X)} E [(Y - f (X))^{2}]

$E(Y|X) = \text{arg min}_{f(X)} E[(Y-f(X))^2]$

f (X)

$f(X)$

Y = E (Y | X) + ϵ

$Y=E(Y|X) + \epsilon$

ϵ

$\epsilon$

E (ϵ | X) = 0

$E(\epsilon|X) =0$

E (h (X) ϵ) = 0

$E(h(X)\epsilon)=0$

在您的最后一个表达式中，您有和是 X 的。然后使用的前一个属性来显示，因此最后一个表达式为零。这个证明是通过使用 CEF 的属性而不是任何不必要的复杂来实现的 - 所以它对于大多数部分来说都是简单的英语。 $(Y-E(Y|X)) = \epsilon$ $(f(X)-E(Y|X)) = h(X)$ $X$ $\epsilon$ $-2E[h(X)\epsilon]=0$

对于你的第二个问题，你想证明

E [(Y - E (Y | X) (f (X) - E (Y | X))] = 0.

$E\left[ (Y-E(Y|X)(f(X)-E(Y|X))\right]=0.$ 现在，如果我们看一下产品的第一项，如果我们没有条件期望，我们会有

E (Y - E (Y)) = E (Y) - E (Y) = 0.

$E(Y-E(Y))=E(Y)-E(Y)=0.$ 但是根据总期望定律，我们知道

E (W) = E (E (W | Z)),

$E(W)=E(E(W|Z)),$ 所以你实际上可以写

E (Y - E (Y | X)) = E (E (Y - E (Y | X) | X)) = E (E (Y | X) - E (Y | X)) = E (0) = 0.

X

$X$ ，第二项是常数，因此产品的期望是期望的乘积：

E [(Y - E (Y | X)) (f (X) - E (Y | X)) | X] = E [(Y - E (Y | X)) | X] \cdot E [(f (X) - E (Y | X)) | X]

其它你可能感兴趣的问题

上一篇什么是数据中的“二阶依赖”和“高阶依赖”？下一篇马尔可夫切换和隐马尔可夫模型