多项分布的指数族形式

机器算法验证 多项分布 指数族
2022-03-29 05:05:43

我觉得这一定是重复的,但我不知道找到合适帖子的神奇词汇......

多项分布是指数族的成员。我习惯于将多项分布的“标准”公式视为:

p(x|π)=n!i=1mxi!i=1mπixi

我已经看到多个来源以指数族成员的形式表达多项式:

p(x|π)=exp{i=1mxilnπi}

我的问题是,多项式系数发生了什么变化n!i=1mxi!???如果我尝试从指数族公式回到标准形式,我会得到:

p(x|π)=i=1mπixi

从 Kevin Murphy 的书中看来,这个指数公式似乎只适用于单次试验,在这种情况下,多项式系数为 1。

2个回答

指数族的特点是它们的密度,使得结果之间的相互作用x随机变量和参数θ出现在指数标量积中,

exp{T(θ)TS(x)}
密度中的其他项是归一化常数C(θ)=exp{ψ(θ)}和一个函数x,h(x),这是对主导措施的补充dν(x). 但最重要的是产品h(x)dν(x)这可以看作是一个新的度量dν´(x)

因此,在多项式示例中,项 可以被视为或作为该集合上新度量的一部分。

(nx1xm)=n!i=1mxi!
h(x1,,xm)
{(x1,,xm)Nm;i=1mxi=n}

我试图从头开始构建softmax回归,也被困在这里:为什么所有的帖子都默默地省略了系数完全,经过一些研究和思考,我在这里分享我的理解:n!x1!x2!xk!

实际上,我们总是使用 k>2 和 n=1 的多项分布的特殊形式分类并且由于n,因此系数的多项分布的PMF将始终全为 1,这就是我们可以省略它的原因,更多细节:k>2n=1n=1n!x1!x2!xk!

{class 1 is chosen: 1!1!0!0!0!=1class 2 is chosen: 1!0!1!0!0!=1class 3 is chosen: 1!0!0!1!0!=1

要获得更多细节和更好的理解完整图片,您可以参考我的帖子GLM 和指数族分布 -> 为什么 PMF 没有系数

特别注意从本节在多项分布中代表什么xi