在 LDA 主题模型算法中,我看到了这个假设。但不知道为什么选择狄利克雷分布?我不知道我们是否可以将多项式上的均匀分布作为一对使用?
为什么 Dirichlet 分布是多项分布的先验?
机器算法验证
贝叶斯
狄利克雷分布
共轭先验
2022-01-22 17:00:51
2个回答
Dirichlet 分布是多项分布的共轭先验。这意味着如果多项式参数的先验分布是狄利克雷分布,那么后验分布也是狄利克雷分布(参数与先验分布不同)。这样做的好处是(a)后验分布很容易计算,(b)在某种意义上可以量化我们的信念在收集数据后发生了多大的变化。
当然可以讨论这些是否是选择特定先验的充分理由,因为这些标准与实际的先验信念无关......然而,共轭先验很受欢迎,因为由于上述原因,它们通常相当灵活且易于使用.
对于多项分布的特殊情况,令为多项参数的向量(即不同类别的概率)。如果在收集数据之前,那么,给定不同类别的观测值,
均匀分布实际上是狄利克雷分布的一个特例,对应的情况是。信息最少的Jeffreys prior也是如此,其中。Dirichlet 类包括这些自然的“非信息性”先验的事实是使用它的另一个原因。
除了与Måns T的回答相矛盾之外,我只是指出贝叶斯建模中没有“先验”之类的东西!Dirichlet 分布是一个方便的选择,因为 (a) 共轭性,(b) 计算,以及 (c) 与非参数统计的联系(因为这是 Dirichlet 过程的离散版本)。
但是,(i)无论您对多项式的权重施加什么先验,在主观贝叶斯水平上都是一个合理的答案,并且(ii)在先验信息可用的情况下,没有理由将其简化为 Dirichlet 分布。还要注意,狄利克雷分布的混合和卷积可以用作先验。
其它你可能感兴趣的问题