在线性回归示例中证明最大似然估计量的分布

机器算法验证 回归 方差 最大似然
2022-03-25 12:12:19

数据被建模为是非随机的,(x1,y1),,(xn,yn)xiyi

Yi=α+β(xix¯)+σϵi
ϵiN(0,1)

我们现在有一个对应的估计量,由显然(根据我的笔记)正态分布的平均值为和方差我无法向自己证明为什么这是案子!有人可以帮忙解释一下吗?α,βσ2α^=y¯

β^=yi(xix¯)(xix¯)2
β
B=Yi(xix¯)(xix¯)2
β
σ2(xix¯)2

1个回答

第 1 步:一般:认识到及其平方和是常数,而不是随机变量。进一步注意也是常数。首先将写为常数乘以包含随机变量的表达式。仔细关注不只是常数的部分,然后在完成该部分后处理该常数。(xix¯)1(xix¯)2αβσB

第 2 步:期望:请记住,总和的期望是期望的总和。请注意,您可以将期望放在求和中,然后将移到该期望之外。请注意,您可以使用表达式。再看第 1 步,拆分期望并以适当的方式提取常量。剩下的东西是微不足道的。(xix¯)Yi

第 3 步:方差:由于是独立的,因此总和的方差是方差的总和。您还应该知道关于此处使用的常数乘以随机变量的方差的事实(不止一次)。Y

这实际上只不过是期望和方差的基​​本属性,并使用您的问题中已经存在的事实。