机器算法验证 - 基测度在指数族中的作用 - 吾爱随笔录

机器算法验证指数族

2022-03-20 07:26:43

典型形式的指数族分布可以写为 $p$

$p(x|\theta) = h(x)\exp(\theta^\top T(x) - A(\theta))$

其中是对数分区函数，是充分统计量，是基本度量（根据此Wikipedia page）。为简单起见，让我们考虑一维。 $A(\theta)$ $T(x)$ $h(x)$ $x$

形式的限制是什么？我的直觉告诉我不能是任意的，否则我们可以设置，并将所有“工作”留给。 $h(x)$ $h(x)$ $T(x)=0$ $h(x)$

例如，我知道学生的 t 不在指数族中。令为分布的密度。如果我们设置和，那么 $t(x)$ $T(x)=0$ $h(x) = t(x)$

$A(\theta) = \log \int h(x)\exp(\theta^\top 0) \,dx = \log 1 = 0$ ,

和暗示 t 在指数族中。 $p(x|\theta) = h(x) = t(x)$

我在这里错过了什么？

2个回答

由于必须积分为 1，因此必须为非负数，但这是唯一的限制（根据本书第 111 页）。 $p(x|\theta)$ $h(x)$

但是，我认为这个问题突出了一个常见的混淆（至少是我以前遇到过的一个）。不只有一个指数分布族。相反，指数族维基百科文章中提到了许多这样的指数族：

指数族在某种意义上是要考虑的非常自然的分布集。

函数和的选择指定指数族（即模型），参数向量对应于该族中的特定成员（即分布）。 $h$ $T$ $\theta$

实际上，如果您为 t 分布选择一些固定的自由度（假设），您可以如您所说 let and根据学生的 t 分布 Wikipedia 文章中的公式，应该给出 $\nu = 3$ $T(x) = 0$ $h(x) = t(x|\nu=3)$

h (x) = \frac{1}{\sqrt{3 π} Γ (\frac{3}{2})} {(1 + \frac{x^{2}}{3})}^{- 2} .

$h(x) = \frac{1} {\sqrt{3\pi}\,\Gamma(\frac{3}{2})} \left(1+\frac{x^2}{3} \right)^{-2}\!.$

但是，这并没有为您提供 t 分布族，即函数集。有了这个基本分布，你可以通过使用更有趣的充分统计量来构造一个更有趣的指数分布族，但是你将无法设计使得参数对应于t参数-分配。 $\{t(\cdot|\nu) : \nu > 0\}$ $T(x)$ $T$ $\theta$ $\nu$

中心限制是不能依赖于参数。直观地说，基本度量是当指数项没有权重时。正如对您的问题的评论中提到的，这与分布家族本身是指数家族与任何单个分布是某个家族成员之间的区别有关。 $h(x)$ $\theta$ $x$ $\theta=0$

其它你可能感兴趣的问题