机器算法验证 - 了解多项分布 - 吾爱随笔录 - 问答

了解多项分布

机器算法验证可能性分布数理统计多项分布

2022-04-19 12:08:08

有K个类别。令 x 为取值的离散随机变量 $1,2...,K$ . 给定数据 $\textbf{X}= \{x_1, x_2, ..., x_N\}$ , 并假设 $\textbf{p}$ 是一个向量概率，其中， $p(x= k) = p_k$ .

通常，我们会看到以下内容：

认为 $N_k = \sum_i I(x_i = k)$ ，即计数结果 k 在 n 次试验中出现的次数。我们对计数集进行建模 $N_k$ 作为多项分布。

p (N_{1} . . . N_{k} | p) = \frac{N!}{N_{1}! . . . N_{K}!} \prod_{k = 1}^{K} {p_{k}}^{N_{k}}

$p(N_1...N_k | \textbf{p}) = \frac{N!}{N_1!...N_K!} \prod^K_{k=1} {p_k}^{N_k}$

这是我们平时看到的。

但是，我在网上遇到了一些有趣的事情，我的问题如下：以下可以是多项分布吗？为什么？

如果我们建模怎么办 $\textbf{X}$ 作为多项分布。

p (X | p) = \prod_{k = 1}^{K} {p_{k}}^{N_{k}}

$p(\textbf{X} | \textbf{p}) = \prod^{K}_{k=1} {p_k}^{N_k}$

它仍然是多项分布的有效 pmf 吗？起初，我认为这是不可能的，因为它缺乏排列，这是使 pmf 总和为 1 的归一化常数。但研究论文表明这两者都是多项分布，尽管它们建模不同的事物。

1个回答

假设你掷出一个 6 面骰子 $N$ 次。

滚动的结果 $i$ , $i=1,\ldots,N$ , 由随机变量表示 $X_i$ . 元组 $\mathbf{X}=\left(X_1,\ldots,X_N\right)$ 包含每次滚动的结果。

我们可以从 $\mathbf{X}$ 通过采取 $N_j=\sum_{i=1}^{N}\delta\left(X_i=j\right)$ , $j=1,\ldots,6$ . 元组 $\mathbf{N}=\left(N_1,\ldots,N_6\right)$ 包含每个类别的计数。

拥有和拥有有什么区别 $\mathbf{X}$ 和 $\mathbf{N}$ ? 它们都起源于 $N$ 具有六种可能结果的多项分布的试验，每种结果的发生概率相同。然而，当我们讨论概率时 $\mathbf{X}$ 我们谈论的是特定结果序列的概率。当我们讨论概率时 $\mathbf{N}$ 我们谈论的是一组特定计数的概率。试验级信息有一个标准化因素，但它只是 $1$ 因为只有一种方法可以获得任何特定的结果序列。

编辑论文的第二部分实际上讨论了何时使用计数以及何时使用样本。

其它你可能感兴趣的问题

上一篇如何处理概率图模型中的高维特征向量？下一篇“解释的可变性比例”究竟是什么？