术语“指数族”是什么意思?为什么会这样命名?

机器算法验证 术语 指数族
2022-03-08 04:53:44

我遇到过指数族这个词。

伯努利分布、高斯分布和更多分布都属于这个指数族。

他们之间会有什么共同点?

1个回答

它们被称为“指数族”,因为它们都可以写成简单的形式

fX(x|θ)=exp(η(θ)T(x)A(θ)+B(x))

还有一些其他的等价形式可能更常用,但我认为这种形式使“指数”部分最清晰。

例如,参见指数族的维基百科页面的这一部分。

特别是,在 1930 年代中期,许多作者讨论了分布需要哪些条件才能具有足够的统计量;Koopman表示它必须是“下面公式 (4)的非常特殊的指数类型”(强调我的),其中等式 (4) 等价于上述形式。[1]

因此,这种形式简洁地表达了它们的共同点。但是这种形式的结果是,这种特殊的分布类别具有一些非常好的特性。例如,是一个充分的统计量——它包含关于的数据中的所有信息。Tθ

此处总结了它们共有的许多其他属性

常用的成员包括高斯、泊松、二项式和伽玛(包括指数和卡方),但我也有机会使用其他成员(例如具有指定的 Tweedie和逆高斯)。p

共享属性使得对它们的处理进行一些标准化成为可能,从而导致广义线性模型(GLM) 的广泛使用。


[1] Koopman, BO, (1936),
"On Distributions Admitting a Sufficient Statistic",
Transactions of the American Mathematical Society , 39 :3, 399-409。