最小二乘回归 (LSQ) 线何时等于最小绝对偏差 (LAD) 线?

机器算法验证 回归 自习 最小二乘 最小绝对偏差
2022-03-17 16:32:22

我手头有以下问题。

认为(x1,y1),(x2,y2),,(x10,y10)表示一组关于(X,Y)这样x2=x3==x10x1.最小二乘回归线在什么条件下YX是否与最小绝对偏差线相同?

我知道说我们想找到α^β^这样Y=α^+β^X; LSQ 方法将给出

β^=i=110(xix¯)yii=110(xix¯)xi
因此α^. 有人可以帮我继续吗?

1个回答

一些提示可以帮助您获得一些见解

  1. 编造或生成一些符合题中条件的数据。尝试x1=0,y1=0x2..x10=1(选择一些值yi,i=2,...,10)。这些线相对于第一个点在哪里通过?

  2. 现在开始如上,但尝试放置 yi,i=2,...,10分别在 1,2,3,4,5,6,7,8,9 处。线路去哪儿了?

(0,0) 和 x=1 处的九个均匀分布点的图

  1. 现在放置yi,i=2,...,10分别为 1,2,3,4,5,6,7,8,99。线路去哪儿了?

上一个情节,但最高点向上移动到 y=99

两条线的拟合值有什么特别/有趣的地方x=1?

(如果不清楚,请尝试其他一些值y10.)

显示拟合线的相同数据

  1. 你能证明这是更普遍的情况吗?

这最终给我们带来了一个稍微简单的问题,这与单变量情况下均值和中位数何时相等有关。(有一个简单、明显的条件是充分的,但不是必要的。)

网站上有许多帖子讨论了另一种情况。这里有一些有趣的例子