机器算法验证 - 我们可以将配分函数吸收到自然参数向量中吗？ - 吾爱随笔录

我们可以将配分函数吸收到自然参数向量中吗？

机器算法验证自习指数族充分统计

2022-03-21 23:10:16

给定一个指数族分布的形式

f_{X} (x) = h (x) e^{ϕ (θ)^{T} T (x) - A (θ)}

$f_X(x)=h(x)e^{\phi(\theta)^TT(x)-A(\theta)}$

自然参数 $\eta=\phi(\theta)$ , 充分的统计量 $T(x)$ , 和对数分区函数 $A(\theta)$ . 我们可以吸收 $-A(\theta)$ 通过将其连接到自然参数向量中：

ϕ^{'} (θ) = [\begin{matrix} ϕ (θ) \\ A (θ) \end{matrix}], T^{'} (x) = [\begin{matrix} T (x) \\ - 1 \end{matrix}]

$\phi'(\theta)=\left[\begin{array}{c}\phi(\theta)\\A(\theta)\end{array}\right],\quad T'(x)=\left[\begin{array}{c}T(x)\\-1\end{array}\right]$

使日志分区项消失。我们知道我们可以计算 $\mathbb{E}[T'(x)]=\nabla_{\eta'}A'(\theta)$ . 自从 $A'(\theta)=0$ 这意味着 $\mathbb{E}[T'(x)]=[0,0,\cdots,0]^T$ 对于指数族中的所有分布，这似乎是错误的。这里有什么问题？

1个回答

日志分区函数的定义，

A (θ) = \log \int h (x) \exp {ϕ (θ)^{T} T (x)} d x

$A(\theta) = \log \int h(x) \exp\{\phi(\theta)^T T(x) \}dx$ 清楚地表明给定的固定函数

h (x)

$h(x)$ 和

T (x)

$T(x)$ ，然后

A (θ)

$A(\theta)$ 完全由

ϕ (θ)

$\phi(\theta)$ . 在您将对数分区函数吸收到自然参数向量的第二个参数化中，

θ

$\theta$ 比尺寸小一

ϕ^{'} (θ) = [ϕ (θ), - A (θ)]

$\phi'(\theta) = [\phi(\theta), -A(\theta)]$ . 因此，自然参数向量的可能空间

ϕ^{'} (θ)

$\phi'(\theta)$ （自然参数空间）不是开集：它是一条曲线。正如@user2939212 的评论中所述，身份

\nabla A (θ) = E [T (x)]

$\nabla A(\theta) = \mathbb{E}[T(x)]$ 仅当自然参数空间是开集（因此该族是正则的）时才成立。

参数向量维数的情况 $\theta$ 小于自然参数向量维数的称为弯曲指数族。例如，高斯 $(\mu, \sigma^2)$ 在哪里 $\sigma = |\mu| = \theta$ 是一个弯曲的指数族：自然参数向量是

η (θ) = [θ^{- 1}, - 0.5 θ^{- 2}] .

$\eta(\theta) = [\theta^{-1},-0.5\theta^{-2}].$ 跨越的空间

η (θ)

$\eta(\theta)$ 是抛物线，不是开集。

其它你可能感兴趣的问题

上一篇TSLM 预测和 STL 预测有什么区别？下一篇为什么需要更大的样本来估计更高的时刻而不是估计平均值？