贝叶斯多项式回归中二次和三次系数的合理非信息先验是什么?

机器算法验证 回归 贝叶斯 多项式
2022-03-24 07:29:29

假设我们有一个贝叶斯多项式回归,如下所示。

yiN(μi,σ2)
μi=β0+β1xi+β2xi2+β3xi3

在哪里xi是一些均值居中的预测变量。

我感兴趣的是什么类型的之前指定是合理的信息不足。虽然我通常发现均匀之前足以满足线性系数β1,我想象二次方的统一先验β2和立方β3系数可能有问题,因为小幅增加会对预测产生非常大的影响。因此,我在想,也许某种使值更接近于零的高度偏态分布可能更合适。

  • 多项式回归中的二次和三次参数是否有标准的非信息先验选择?
  • 或者,是否有一个很好的默认策略来为这些参数选择先验(例如,可能基于 x、y 或它们的关系的特征)?
2个回答

老实说,在没有明确理论的情况下,我倾向于用正交多项式来构建模型,然后将先验放在表明我希望它们很小的高阶项上——这往往将后验拉向零,而不是不提供信息。

如果我想要一个无信息的先验,我仍然很想用正交多项式来做到这一点。

编辑:猫王关于为什么正交多项式很重要的问题——

正交多项式的一大优点是(由于正交性)如果高阶系数被缩小甚至设置为 0,则低阶系数不会受到影响。这使得尝试通过参数平均来进行阶数选择等事情变得更加明智跨模型估计。(如果只对整个函数感兴趣,那么它就不那么重要了,但有时特定系数或它们的函数的值可能很重要。)

(在准确性和计算工作量方面也可能有一些优势;特别是如果你正在做所有可能的多项式次数,那么工作量可能会有优势。)

多项式在以下意义上是正交的 -ipj(xi)pk(xi)=0(什么时候jk)。

您是否尝试过使用 Jeffrey 的先验?这是生成非信息先验的标准方法(尽管我承认我没有您提到的复杂似然函数的经验)

http://en.wikipedia.org/wiki/Jeffreys_prior

基本思想是,非信息性先验将不包含有关转换的信息,并且与我认为不应该太复杂而难以找到的 Fisher 信息相关(寻找后验是另一个问题)。

如果您已经尝试过,请致歉!

对我之前的回答稍作补充

我突然想到问题是标准线性回归

考虑一个矩阵Z谁的ith行由[1,xi,xi2....]. 你的模型本质上是

μ=Zβ+ϵ

在哪里ϵ N(0,σ2)