回归函数推导的困惑

机器算法验证 回归 统计学习
2022-03-21 16:31:15

我正在阅读“统计学习的要素”,我被困在 pg 的这段摘录中。现在一天37:

...这个理论需要一个损失函数来惩罚预测中的错误,到目前为止,最常见和最方便的是平方误差损失:L(Y,f(X))L(Y,f(X))=(Yf(X))

这导致我们选择的标准, f

EPE(f)=E(Yf(X))2
=[yf(x)]2Pr(dx,dy)

预期的(平方)预测误差。通过以 X 为条件,我们可以将 EPE 写为

EPE(f)=EXEY|X([Yf(X)]2|X)

我们看到逐点最小化 EPE 就足够了:

f(x)=argmincEY|X([Yc]2|X=x)

解决方案是:

f(x)=E(Y|X=x)

我现在已经得到了大部分,但最终我不明白我们是如何得出解决方案的,即我们如何解决步骤以获得最终的回归函数;它应该是直观的还是有特定的技术来解决它?我刚刚了解了函数,它的定义并没有对这里发生的事情提供太多解释。这是双重重要的,因为它们稍后会更改损失函数,并且稍后需要相同的方法。argmin(.)argmin

谢谢!

2个回答

我不确定展雄的所有努力是否必要。只需展开 并注意最小化表达式(导数,平方完成)...

EY|X([Yc]2)=EY|XY22cEY|XY+c2
c=EY|XY

这可以通过与最小二乘估计和条件期望相关的所有地方使用的经典方法来证明。,然后写: 展开完全平方并证明叉积项为 0 如下: 其中第一个等式来自的函数(技术上, -measurable)因此可以从条件期望中取出。由于期望的线性和我们对的定义,第二个等式成立。所以, f(x)=E(Y|X=x)

EY|X[(Yc)2|X=x]=EY|X[(Yf(x)+f(x)c)2|X=x]
EY|X[(Yf(x))(f(x)c)|X=x]=(f(x)c)EY|X[Yf(x)|X=x]=(f(x)c)(f(x)f(x))=0
f(x)cxσ(X)f(x)
EY|X[(Yc)2|X=x]=EY|X[(Yf(x)+f(x)c)2|X=x]=EY|X[(Yf(x))2|X=x]+(f(x)c)2EY|X[(Yf(x))2|X=x]
并且可以通过取来获得相等,这是解决方案。c=f(x)