加权简单线性回归公式

机器算法验证 回归
2022-02-08 10:10:40

这个 wiki 页面简单线性回归的公式谁能告诉我如何在加权情况下推导公式?αβ

2个回答

将普通最小二乘法 (OLS) 视为一个“黑匣子”,以最小化

i=1n(yi(α1+βxi))2

对于行是元组的数据表。ith(1,xi,yi)

当有权重时,必然是正的,我们可以将它们写为根据定义,加权最小二乘法最小化wi2

i=1nwi2(yi(α1+βxi))2

=i=1n(wiyi(αwi+βwixi))2.

但这正是 OLS 黑盒在给定由“加权”元组组成的数据表时最小化的内容。因此,将 OLS 公式应用于这些加权元组会给出您寻求的公式。(wi,wixi,wiyi)

whuber 的答案给出了数学背后的直觉,这很好,但我仍然无法计算公式(即我应该把权重放在哪里)。在网上搜索后,我发现这些幻灯片给出了以下内容:

您想最小化以下错误:

i=1n(wi(yi(α+βxi)))2

那么,最优对为: (α^,β^)

α^=y¯wβ^x¯w
β^=i=1nwi(xix¯w)(yiy¯w)i=1nwi(xix¯w)2

其中是加权平均值:x¯wy¯w

x¯w=i=1nwixiwi
y¯w=i=1nwiyiwi