绝对偏差和的最小化

机器算法验证 自习 数理统计
2022-03-25 08:13:27

我的特殊任务是展示|YiB0B1XiB2Xi2|有一个以上的最小值。
我们被给予x1=1,x2=2,y1=3y2=4.

我真的迷路了,我需要证明有不止一个 - manual我找不到任何例子来试图掌握这一点。

1个回答

所以这有某种形式的答案,让我们看看 OP 发现了什么,然后在其中添加一些额外的清晰度/细节(我将比通常的自学问题更详细地介绍,因为这个问题的问题,我认为需要一些解释):

这里的问题是,对于 3 个参数和两个点,系统是欠定的。

立即绘制点表明可以与直线完美拟合(B2=0)。

简单地看一下情节,我们通过两个点拟合二次曲线的事实告诉我们,第二个完美拟合是微不足道的 - 选择任何B2并求解剩余的值。

在此处输入图像描述

这种非唯一性与最小绝对值回归的非唯一性没有任何关系,因为它与最小二乘法或许多其他完美拟合产生最小值的标准一样有效。如前所述,这仅仅是由于系统不确定。[因此,这让我觉得这是一个糟糕的例子,无法说明特别是关于最小绝对值回归的任何事情。]


要查看不仅仅是由于系统未确定(即最小二乘法也存在非唯一性问题)而导致的最小绝对值回归的非唯一性,您需要更多的数据值。

例如,考虑用直线拟合以下数据:

x 0 1 2 3
y 0 2 3 3

在这里,任何具有最小值的行S=i|YiB0B1Xi|不会遍历所有数据点,但仍有一个值区域达到最小值S(以灰色勾勒出的深蓝色区域);S 值越大,蓝色/红色越少:

在此处输入图像描述

这是其中的 4 行,每行对应于上述最优参数区域中的点:

在此处输入图像描述

除红色之外的所有点都是第一个图中标记边界上的点;红色的是第一个图中标记的蓝色区域内的内部点。

红色的也是最小二乘。它是 (b1,b0) 图中的一个内部点。其他三条线是角点。如果您想在 (x,y) 图中的指定点放置四个(细)极点(沿 z 方向伸出,超出屏幕),然后拉紧绳子靠近红线,然后摆动在四个极点的约束范围内,你在最佳区域徘徊。

这里有一个相关示例,其中包含对仅拦截 L1 模型的附加说明