两个看似相关的问题中最小二乘估计之间的关系

机器算法验证 估计 最小二乘
2022-04-08 22:53:05

我在这里提出一个非常简化的问题,因为我有一种感觉,如果我能理解这一点,我就会理解我原来的问题。我试着用谷歌搜索这个并搜索了这个网站,但找不到我需要的答案。希望你能指出我正确的方向。

,我正在使用最小二乘法最小化解决两个看似相关的问题{xi}

第一个问题是找到最小化 b

in(xib)2

第二个问题是找到来最小化 c

in(xic1)2

解决方案显然是的平均值, 而对于它是 xib

b=inxin
c
c=inxi2inxi

我天真地希望也是平均值。我的逻辑:我希望回答“哪个数字在除以集合中的每个数字时,使结果集合的平均值最接近 ”的问题。显然我错了,这不是最小二乘法的工作方式。为什么不是平均值?是什么意思?cc1cc

1个回答

b的情况下,要问的问题是“什么标量最接近我的数据点(在最小二乘意义上)?” c的情况下,要问的问题是“如何缩放我的数据点以使每个数据点尽可能接近 1(在最小二乘法中)?” 这些目标函数是不同的。想象一下,如果您的数据的平均值为 1,且方差非常大。b的最佳值将是 1(直到噪声),但c不会是 1 - 它必须很大以抵消数据的高方差。