机器算法验证 - 在进行线性回归时，斜率的无信息先验应该是什么？ - 吾爱随笔录

机器算法验证回归贝叶斯无信息先验

2022-03-15 02:21:43

在执行贝叶斯线性回归时，需要为斜率分配先验 $a$ 并拦截 $b$ . 自从 $b$ 是一个位置参数，分配一个统一的先验是有意义的；但是，在我看来 $a$ 类似于比例参数，在它之前分配制服似乎是不自然的。

另一方面，分配通常没有信息的 Jeffrey 先验似乎不太正确（ $1/a$ ) 用于线性回归的斜率。一方面，它可能是负面的。但我看不出还有什么可能。

那么贝叶斯线性回归斜率的“正确”无信息先验是什么？（任何参考将不胜感激。）

3个回答

标准的非信息性先验分布

在正态回归模型中，方便的非信息性先验分布在 $(\beta, \log \sigma)$ 或者，等效地，
$p (β, σ^{2} | X) \propto σ^{- 2}$ $p(\beta,\sigma^2|X) \propto\sigma^{-2}$

( $X$ 指回归量。）这本书包含了超出这个问题范围的有用的进一步讨论：当这个先验有用时，当其他人更适合时，它的后验，以及与经典估计的比较。

贝叶斯主义者通常会选择使他们在数学上具有挑战性的生活更容易忍受的先验。这意味着高斯先验，除非模型绝对禁止它。请记住，在您的情况下，您需要先验双变量，因为您必须对坡度和位置之间的相关性以及它们的边际行为进行建模。多元正态是你的票。

参数上的高斯先验与您的回归模型已经具有的（毫无疑问）高斯测量误差很好地啮合。

顺便说一句，我没有将斜率与比例参数相关联，因为斜率可以是负数，而比例参数不能。

现在高斯分布不是无信息先验，但如果你真的没有先验信息，也许你应该去常客。或者使用方差很大的高斯。

我不知道对贝叶斯推理的现代参考。冒着使用火箭筒射击兔子的风险，您可以查找 Rasmussen 和 Williams，它可以在线获得。第 2 章的第一部分详细介绍了贝叶斯回归。

通常在斜率和偏移上使用统一的先验，但是我喜欢将平坦的先验放在上面的想法 $\tan^{-1}\left(a\right)$ 和 $b\cos\theta$ 和 $\theta$ 是线和y = 0之间的角度。这给出了一个先验

p (a, b) = {(1 + a^{2})}^{- 3 / 2}

其它你可能感兴趣的问题