如果没有相关的先验经验信息,如何确定先验?

机器算法验证 可能性 贝叶斯
2022-03-18 19:50:29

我正在使用贝叶斯概率。就我而言,我有一个经验先验概率可用于计算后验概率。但这不是主观的做法,我相信。如果我没有任何先验经验信息,我如何估计先验概率?

2个回答

如果您没有强烈的先验信念或假设,则可以使用非信息性先验,它不会强加强结构或约束。相反,他们试图以有原则的方式表达对参数的无知。Jeffreys 先验和参考先验就是突出的例子。可以施加非常一般的约束(例如,特定参数必须是非负的)。当“更强”的先验以与您的实际(缺乏)知识/信念不一致的方式不合理地支持某些假设时,非信息性先验很有用。沿着类似的思路,参见无差异原则和最大熵. 因为非信息先验表达了对参数的很大程度的无知,后验分布通常会受到似然函数的更大影响。有关更多信息,请参阅:

卡斯和瓦瑟曼 (1996)通过正式规则选择先验分布。

如果您对正在建模的系统有更强的先验知识/信念(例如领域知识、以前的发现),您可以使用信息丰富的先验知识。您的信念可能无法完全指定完整分布。例如,您可能认为某些参数范围更有可能,但您的信念是否与某些特定的参数形式(例如正态分布、伽马分布等)精确对应?在实践中,先验的选择将反映满足您的(可能不完整的)信念、约定和计算便利性的某种组合。

您可以将领域专家的知识提炼成先前的分布。这称为“先验启发”(例如,参见此处的讨论)。一般的方法是提出一系列问题以提取专家的知识/信念,然后使用答案构建先验分布。

就我而言,我有一个经验先验概率可用于计算后验概率。但这不是主观的做法,我相信。

相反。“这样做的主观方式”是询问您想要假设的信息,然后相应地构建先验。如果您乐于对案例进行可交换性判断,那么这意味着对先验的一些分布约束(请参阅多级模型)。如果您有一个已知的约束,例如您认为某个数量应该具有有限方差,但不知道该方差是什么(或者甚至某些数量应该加起来为 7),那么这意味着其他分布约束(参见最大熵)。如果您有历史数据,那就更好了;这可能有助于确定先前信息所暗示的分布的一些参数。

这些都不是必需的,尤其是因为主观先验预设的主题不一定是你。但是,在一般情况下,您不希望围绕诸如忽略历史证据的主题的信念建立先验。因此,您通常会考虑历史信息。使构建的先验“主观”的原因在于,它可以通过比历史数据更多的信息来获得信息。

如果我没有任何先验经验信息,我如何估计先验概率?

无论是您还是其他任何人,都不会遇到这种情况,所以没关系。