因此,对于 OLS,有 3 个关于 DGP 的假设,它们是(来自 Stock & Watson):
- 误差项的独立性(+ Homoskedasticity?)
- 变量的 IID
- 不太可能出现大的异常值,这意味着非零有限第四矩
我目前正在使用贝叶斯分层线性模型,我一直认为贝叶斯主义中的“哲学”部分证明了先验的合理性。频率主义线性回归所需的假设集是否与贝叶斯线性回归一样严格和/或是否存在不同的假设集?
因此,对于 OLS,有 3 个关于 DGP 的假设,它们是(来自 Stock & Watson):
我目前正在使用贝叶斯分层线性模型,我一直认为贝叶斯主义中的“哲学”部分证明了先验的合理性。频率主义线性回归所需的假设集是否与贝叶斯线性回归一样严格和/或是否存在不同的假设集?
让我使用您提到的线性回归示例。简单的线性回归模型是
噪声是独立的,正态分布的随机变量。这相当于用正态似然函数来描述模型
我们做出的假设来自我们定义的概率模型:
加上一些更“技术”的东西,比如没有多重共线性,这是从估计参数的方法(普通最小二乘法)的选择中得出的。
(请注意,置信区间和测试等需要这些假设,而不是最小二乘线性回归。有关详细信息,请查看线性回归的常用假设的完整列表是什么?)
贝叶斯线性回归唯一改变的是,我们没有使用优化来找到参数的点估计,而是将它们视为随机变量,为它们分配先验,并使用贝叶斯定理推导出后验分布。所以贝叶斯模型将继承我们为频率论模型所做的所有假设,因为这些是关于似然函数的假设。基本上,我们所做的假设是,我们选择的似然函数是数据的合理表示。
至于先验,我们不对先验做出假设,因为先验是我们对参数所做的先验假设。
贝叶斯统计中的假设通常比那些假设强,因为您需要在每个模型中指定数据和参数的完整分布。
在许多情况下,使用高斯分布,因为它与期望值和算术平均值的关系,并没有真正相信正态性假设,并且已经表明,在相同条件下,结果对于偏离正态性非常稳健如上所尊重。
贝叶斯统计中使用的分布的另一个例子是非对称拉普拉斯,用于分位数回归,即使数据并不真正遵循它。贝叶斯模型非常多样,我不知道你在说哪个,但很可能是高斯模型。在这种情况下,如果您尊重与频率论模型相同的假设,您应该没问题(同方差是其中之一,除非明确解决异方差)。