贝叶斯统计中的假设是什么?

机器算法验证 回归 贝叶斯 多层次分析 假设
2022-03-29 03:39:55

因此,对于 OLS,有 3 个关于 DGP 的假设,它们是(来自 Stock & Watson):

  • 误差项的独立性(+ Homoskedasticity?)
  • 变量的 IID
  • 不太可能出现大的异常值,这意味着非零有限第四矩

我目前正在使用贝叶斯分层线性模型,我一直认为贝叶斯主义中的“哲学”部分证明了先验的合理性。频率主义线性回归所需的假设集是否与贝叶斯线性回归一样严格和/或是否存在不同的假设集?

2个回答

让我使用您提到的线性回归示例。简单的线性回归模型是

yi=α+βxi+εi

噪声是独立的,正态分布的随机变量这相当于用正态似然函数来描述模型εiN(0,σ2)

yiN(α+βxi,σ2)

我们做出的假设来自我们定义的概率模型:

  • 我们假设模型是线性的,
  • 我们假设 iid 变量,
  • 方差对于每个 -th 观察都是相同的,所以同方差性,σ2i
  • 我们假设可能性(或噪声,在第一个公式中)遵循正态分布,所以我们不希望看到重尾等。

加上一些更“技术”的东西,比如没有多重共线性,这是从估计参数的方法(普通最小二乘法)的选择中得出的。

(请注意,置信区间和测试等需要这些假设,而不是最小二乘线性回归。有关详细信息,请查看线性回归的常用假设的完整列表是什么?

贝叶斯线性回归唯一改变的,我们没有使用优化来找到参数的点估计,而是将它们视为随机变量,为它们分配先验,并使用贝叶斯定理推导出后验分布。所以贝叶斯模型将继承我们为频率论模型所做的所有假设,因为这些是关于似然函数的假设。基本上,我们所做的假设是,我们选择的似然函数是数据的合理表示

至于先验,我们不对先验做出假设因为先验我们对参数所做的先验假设。

贝叶斯统计中的假设通常比那些假设强,因为您需要在每个模型中指定数据和参数的完整分布。

在许多情况下,使用高斯分布,因为它与期望值和算术平均值的关系,并没有真正相信正态性假设,并且已经表明,在相同条件下,结果对于偏离正态性非常稳健如上所尊重。

贝叶斯统计中使用的分布的另一个例子是非对称拉普拉斯,用于分位数回归,即使数据并不真正遵循它。贝叶斯模型非常多样,我不知道你在说哪个,但很可能是高斯模型。在这种情况下,如果您尊重与频率论模型相同的假设,您应该没问题(同方差是其中之一,除非明确解决异方差)。