具有不对称先验知识的多项分布的贝叶斯推理?

机器算法验证 可能性 贝叶斯 事先的 多项分布 狄利克雷分布
2022-03-08 05:51:31

假设我将从二项分布中获取一些样本。对我的先验知识建模的一种方法是使用带有参数的 Beta 分布αβ. 据我了解,这相当于见过“人头”α次在α+β试验。因此,进行全面贝叶斯推理的一个不错的捷径是使用h+αn+α+β作为我看到后“正面”概率的新平均值h进入n试验。

现在假设我有两个以上的状态,所以我将从多项分布中获取一些样本。假设我想使用带参数的 Dirichlet 分布α作为先决条件。再次作为捷径,我可以将其视为事件的先验知识i的概率等于αiαj,如果我见证事件i h次在n试验我的后路i变成h+αin+αj.

现在在二项式的情况下,可以得出“正面”发生的先验知识α次在α+β试验相当于发生“尾巴”β次在α+β试验。从逻辑上讲,我不相信我对“正面”可能性的了解比对“反面”的了解更强。但是,如果有两个以上的结果,这会变得更有趣。如果我说一个 6 面骰子,我可以想象我对“1”面的先验知识相当于 50 次试验中的 10 个,而我对“2”面的先验知识相当于 100 次试验中的 15 个二。

所以在所有这些介绍之后,我的问题是如何在多项式情况下正确地模拟这种不对称的先验知识?似乎如果我不小心,由于总概率/可能性总和不等于 1,我很容易得到不合逻辑的结果。有什么方法我仍然可以使用 Dirichlet 快捷方式,还是我需要完全牺牲它并使用一些其他事先分配完全?

请原谅由于上述符号或术语的潜在滥用而造成的任何混淆。

1个回答

你已经很好地提出了你的问题。

我认为您在这里寻找的是分层建模的案例。而且您可能想要对多层层次结构进行建模(目前您只谈论先验)。为超参数设置另一层超先验可以让您对超参数中的其他可变性进行建模(因为您担心超参数的可变性问题)。它还使您的建模灵活和健壮(可能会更慢)。

特别是在您的情况下,您可能会受益于 Dirichlet 分布参数的先验(Beta 是一种特殊情况)。Gelman 的这篇文章讨论了如何对 Dirichlet 分布的参数施加先验。他还在毒理学杂志上引用了他的论文。