机器算法验证 - 为什么指数族不包括所有分布？ - 吾爱随笔录

为什么指数族不包括所有分布？

机器算法验证分布数理统计指数族

2022-01-17 01:15:58

我在看书：

Bishop，模式识别和机器学习 (2006)

它将指数族定义为以下形式的分布 (Eq. 2.194)：或没有任何限制。Doesn't this mean that any distribution can be put in this form, by appropriate choice of and (in fact only one of them has to be chosen properly!)? 那么为什么指数族不包括所有概率分布呢？我错过了什么？

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

h (x)

$h(\mathbf x)$

u (x)

$\mathbf u(\mathbf x)$

h (x)

$h(\mathbf x)$

u (x)

$\mathbf u(\mathbf x)$

最后，我感兴趣的一个更具体的问题是：伯努利分布是否属于指数族？维基百科声称它是，但由于我显然对这里的某些事情感到困惑，我想看看为什么。

3个回答

考虑非中心拉普拉斯分布

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

除非你将不能写作为和的某个函数之间的内积。 $\mu = 0$ $|x - \mu|$ $\mu$ $x$

指数族确实包含了我们经常遇到的绝大多数命名良好的分布，所以起初它看起来似乎包含了所有有趣的东西，但它绝不是详尽无遗的。

首先，请注意您的标题中有一个术语问题：指数族似乎意味着一个指数族。你应该说一个指数族，有很多指数族。

好吧，你的定义的一个结果：是索引的分布族的支持不依赖于。（概率分布的支持度是概率为 1 的最小集合的（闭包），或者换句话说，分布所在的位置。）因此，根据参数给出支持度分布族的反例就足够了，最简单的例子是下面的均匀分布族：

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . （@Chaconne 的另一个答案给出了一个更复杂的反例）。

并非所有分布都是指数族的另一个不相关的原因是指数族分布总是具有现有的矩生成函数。并非所有发行版都有 mgf。

现有的两个答案都很好，但只是为了尝试对这里发生的事情增加一些直觉。

您编写的方程式定义了如何制作指数分布族。固定，和会给你一组具有参数的分布。正确选择、和的 Normal 系列。因此有无限数量的指数族，其中有限的数量有名字（Normal，Dirichlet，Poisson，...） $h$ $g$ $u$ $\eta$ $h$ $g$ $u$ $\eta = (\mu, \sigma^2)$

您是正确的，因为任何特定的分布都将属于指数族。问题是找到、和以便您完全涵盖另一个“传统”家庭。因此，例如，t 分布族不是指数族，但 t 分布的任何特定实现都将属于指数族。例如，在 5 个自由度上，以 0 为中心，比例为 1，可以以无数种方式放入指数族形式。但是，现在没有其他 t 分布会出现在您创建的指数族中。这有点像停表一天两次。 $h$ $g$ $u$

如果您尝试将这些分布写成指数族，通常会在代数上出错的一点是，为了有用，您需要能够通过参数缩放和移动。没有用，因为它没有参数，而没用，因为它只是将整个 pdf 上下相乘 - 它只是标准化。这只会使产品处于指数级 - 并且不允许您在其之后应用任何功能。在我的 t(5) 示例中，pdf 类似于 $x$ $h$ $g$

f (x) \propto {(1 + \frac{x^{2}}{5})}^{- 3} = \exp (- 3 \ln (1 + \frac{x^{2}}{5}))

$f(x) \propto \left( 1 + \frac{x^2}{5}\right)^{-3} = \exp\left(-3 \ln\left(1+\frac{x^2}{5}\right)\right)$

你不能“进入”那个所以你唯一能做的就是说建立一个 3 改变的家庭，但这甚至没有改变自由度，因为里面的 5没有改变。因此，我创建了一个新的（非常愚蠢的）指数族，其中包含一个 t 分布，但我永远无法将它们全部放在同一个族中，而且我还收集了一堆不是 t 的奇怪分布。 $\ln$ $\ln$

其它你可能感兴趣的问题

上一篇为什么要使用极值理论？下一篇什么是回归中的零模型，它与零假设有何关系？