机器算法验证 - 以最小充分统计量为条件从指数族产生样本 - 吾爱随笔录

机器算法验证机器学习采样指数族充分统计

2022-04-08 00:37:25

假设我有一个属于指数族的分布，形式为

p (x) = \frac{\exp (- \sum_{k} η_{k} T_{k} (x))}{Z},

$p(x) = \frac{\exp(-\sum_k \eta_k T_k(x))}{Z},$

其中是一组固定的充分统计量，是相应的自然参数，是配分函数。 $T_k(x)$ $\eta_k$ $Z$

充分统计量的函数形式都是已知的，所以当我有数据的时候，我可以计算出所有充分统计量的值。但是，我不知道自然参数。 $T_k$

尽管如此，我想知道：是否有一些已知的算法可以从这种分布中生成样本，只知道充分统计的值？

[特别是，我对基于能量的分布感兴趣。] $p(x) = \frac{\exp(-E(x))}{Z}$

1个回答

鉴于向量是充分的，这意味着为条件的分布不依赖于在参数上。 $\mathbf{T}(X)=(T_1(X),\ldots,T_K(X))$ $X$ $\mathbf{T}(X)$ $\eta_k$

如果给定分布将具有密度成比例到流形。

p (x) \propto h (x) \exp {- \sum_{k} η_{k} T_{k} (x)}

$p(x)\propto h(x)\exp\left\{-\sum_k \eta_k T_k(x)\right\}$

X

$X$

T (X) = t

$\mathbf{T}(X)=t$

h (x)

$h(x)$

T (x) = t

$\mathbf{T}(x)=t$

我不知道处理这种模拟的通用算法。在能量函数的情况下，的集合上是均匀的，这样，即充分统计量的观察值。 $X$ $x$ $E(x)=e$

其它你可能感兴趣的问题