先验线性回归模型的系数

机器算法验证 回归 贝叶斯 线性模型 回归系数 事先的
2022-03-28 02:42:57

我有一个线性回归模型Y=Xβ+ϵ. 我想分配一个先验β为了推导出后验预测模型p(ypredictive|y,X,β). 我如何决定将哪个先验分配给回归系数β? 有文献讨论这个吗?

2个回答

一个很好的文档,其中包含有关选择先验的一般建议(带有更详细的论文链接):https ://github.com/stan-dev/stan/wiki/Prior-Choice-Recommendations 。

在实践中,您选择的先验应该来自领域专业知识。此外,一种常见的做法是根据您对均值的了解选择先验,然后根据您的确定性确定方差。

例如,如果您的变量是个人的经济变量(例如失业、教育水平、居住国的国内生产总值、年龄),您可能会从经济理论中获得提示来预测,例如年收入;至少,您至少会对β向量。

至于方差,如果您不太确定每个组件的效果,您可以为先验选择更高的方差。您可能还想考虑变量之间可能的交互影响(这将表现为不同变量之间的协方差βi系数)。在这里施加额外的假设可能是有益的,例如常数方差或对角协方差矩阵β之前,为了计算简单。

归根结底,这是一门艺术,但在某些情况下,您可以获得合理的共轭先验β例如,如果您假设β有一个多元正态先验,并且ε也是一些多元正态的味道。

我会推荐贝叶斯数据分析以获取有关贝叶斯线性回归的更多详细信息。