线性回归中的随机回归器和非随机回归器有什么区别?

机器算法验证 回归 线性模型
2022-03-28 04:06:40

假设回归规范是 无论是否是随机的,我们都需要假设对于所有分布相同。但是,如果是随机随机变量而不是固定值,则需要另一个假设,即扰动项的条件期望为零;换句话说,独立于分布。

yi=β0+β1xi+ϵi,
xiϵiixiϵixi

我的问题是这个假设在实践中如何产生影响?我觉得在实践中,没有办法评估是独立分布还是依赖于因为我们对每个只有一个观察ϵixi(xi,yi)i

2个回答

在实践中,差异是巨大的。您提到的外生假设要求错误与回归量不相关。如果它们是相关的,那么你就不能依赖随机回归量的回归。

例如,在几乎所有经济学等观察性研究中,您无法控制回归量。你无法将美国 GDP 设定到理想的水平,你只能观察它。因此,在 GDP 为回归变量的模型中,您希望误差与 GDP 无关,因为在此模型中您只能假设随机回归变量。

当您的错误与回归量相关时,您会遇到内生性问题。有一些方法可以处理它,例如使用滞后回归量或工具变量。

在计量经济学中,一个教科书的例子是外生价格对需求的影响。我们谈论的是典型的供需方程。在这里,问题是价格也取决于供应。因此,存在一个内生性问题,任何计量经济学家都会立即指出这一点。这是为了回答您关于测试假设的可行性的问题。

一旦你发现内生性就在这里,你可能会寻找一个所谓的工具变量。这些是与价格相关但与需求无关的回归量,例如可能影响供应的东西。如果需求是对橙子的需求,那么佛罗里达州春季的温度可能是一个合适的工具,因为它会影响橙子的供应——和价格——而不是需求。因此,您将该工具插入回归中并梳理出价格对需求的影响

请注意,我们不需要对所有具有相同的分布。不等方差可以通过加权最小二乘法或对异方差具有鲁棒性的标准误差来处理,而误差项之间的相关性可以使用 Huber-White 标准误差来处理。ϵii

我同意我们永远无法评估是否与相关。在我目前的工作中,感兴趣的协变量通常是随机分配的,因此我们可以断言它独立于误差项。其他包含的回归量可能不是,但它们也与感兴趣的回归量不相关,因此不会影响其系数的估计。ϵixi

我的正式培训是经济学,其中观察性研究更为常见。在那里,我们求助于外部知识来评估这个假设。例如,工资对受教育年限的回归并没有估计条件期望的参数,因为误差项包含与受教育年限相关的动机等内容。尽管最终这种观察分析的可信度值得商榷,但在经济学方面投入了大量精力来识别可信的变异。