机器算法验证 - 贝叶斯归一化常数的直觉 - 吾爱随笔录

贝叶斯归一化常数的直觉

机器算法验证正常化贝叶斯边际分布

2022-04-04 22:23:09

在通常提到的筛查可能性为 80%、先验为 10%、假阳性率为 50% 的乳腺钼靶筛查问题或其变体中，很容易解释阳性筛查表明癌症的条件后验概率目前仅占 15%。这最容易通过计数来显示，n = 1000，真正的癌症病例 = 100，检测到的癌症 = 80，假阳性 = 450。那么阳性筛查表明癌症存在的概率是真阳性 /（真阳性 +误报）或 80 / (100 + 450) = 0.145 或 15%。

直觉是真阳性取决于真阳性和假阳性的总和，因为真阳性和假阳性的总和构成所有结果的子集。这是因为假阴性和真阴性被排除在计算之外，因此条件集是一个子集。

如果我们将问题转移到具有二项式似然和 beta 先验的连续情况，则归一化常数变为积分，对于真正的正项（p = 比例）

\int_{0}^{1} (\begin{matrix} n \\ x \end{matrix}) p_{}^{x} {(1 - p)}^{n - x} \frac{Γ (a + b)}{Γ (a) Γ (b)} p_{}^{a - 1} {(1 - p_{})}^{b - 1} d p

$\int_0^1 {\left( {\begin{array}{*{20}{c}}n\\x\end{array}} \right)p_{}^x{{(1 - p)}^{n - x}}\frac{{\Gamma (a + b)}}{{\Gamma (a)\Gamma (b)}}p_{}^{a - 1}{{(1 - {p_{}})}^{b - 1}}} dp % MathType!MTEF!2!1!+- % feaagKart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLn % hiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr % 4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9 % vqaqpepm0xbba9pwe9Q8fs0-yqaqpepae9pg0FirpepeKkFr0xfr-x % fr-xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaaeaaaaaaaaa8 % qadaWdXaqaamaabmaapaqaauaabeqaceaaaeaapeGaamOBaaWdaeaa % peGaamiEaaaaaiaawIcacaGLPaaacaWGWbWaa0baaSqaaaqaaiaadI % haaaGccaGGOaGaaGymaiabgkHiTiaadchacaGGPaWaaWbaaSqabeaa % caWGUbGaeyOeI0IaamiEaaaak8aadaWcaaqaaiabfo5ahjaacIcaca % WGHbGaey4kaSIaamOyaiaacMcaaeaacqqHtoWrcaGGOaGaamyyaiaa % cMcacqqHtoWrcaGGOaGaamOyaiaacMcaaaWdbiaadchadaqhaaWcba % aabaGaamyyaiabgkHiTiaaigdaaaGccaGGOaGaaGymaiabgkHiTiaa % dchadaWgaaWcbaaabeaakiaacMcadaahaaWcbeqaaiaadkgacqGHsi % slcaaIXaaaaaqaaiaaicdaaeaacaaIXaaaniabgUIiYdGccaWGKbGa % amiCaaaa!6018!$

和假阳性的类似术语。

然而，不清楚的是，如何在连续情况下重申子集的概念，我找不到这样做的人。相反，人们会发现这样的语言：1）这个积分给出了常数来进行计算，以便在 [0, 1] 区间上定义一个概率分布，或者 2）调用比例性并且不需要积分的值找到后验，尤其是使用 MCMC，或者 3) 积分是证据的概率。最后一种解释似乎更接近子集的概念，但并没有清晰明确的联系。

我正在写一个对贝叶斯定理的直观介绍，并希望继续直观地理解定义后验的条件概率的子集。所以我需要语言来解释这个积分如何只是离散数字情况下子集的连续重述。

有什么建议么？

3个回答

我需要为我正在准备的一门课程这样做，所以我创建了这个演示网站：贝叶斯定理在二项式情况下的“选择子集”的演示（确保隐藏工具栏，右下角）。基本上，如果你显示联合分布——这只是 $p(y\mid\theta)p(\theta)$ -- 你可以看到你需要选择的联合分布的“子集”，即那些 $\theta$ 对应的值 $Y=y$ （无论你观察到什么）。

该页面的源代码可以在这里找到：Rmarkdown source for page。

（我用了 $\theta$ 对于二项式概率，而不是 $p$ 因为 $p(p)$ 看起来很混乱……）

除了您提到的解释之外，您还可以将归一化常数视为观察到的 x 处的先验预测分布的值。如果先验预测是离散的，那么这是一个概率质量，如果先验预测是连续的，那么这是一个概率密度。

在连续情况下的先验预测是

p (x) = \int_{Θ} p (θ) p (x | θ)

$p(x) = \int_\Theta p(\theta)p(x|\theta)$

这是一个将概率质量/密度分配给样本空间中的结果的分布。然后，当 x 被观察到时，它被固定在观察到的 x 上，并符合贝叶斯定理的分母。

但是，请注意，对于连续分布，分配给具有零度量（即零概率）的集合的密度值没有数学约束，并且由于连续分布上的任何特定点确实具有零度量，因此在技术上密度值在精确 x 处的先验预测可以任意设置。但除此之外，我认为这种可视化归一化常数的方式相当直观。

你可以在这里阅读更多。（如果您没有访问权限，请告诉我）这也是，它更现代一点。

Richard 的 3-d 图形很有帮助。然而，我需要的是可以作为图表粘贴到手稿中的东西。经过一番搜索，我找到了这张来自 Westfall 和 Henning，Understanding Advanced Statistical Methods , Chapman & Hall/CRC, 2013 的图片。

将轴重新标记为左侧的二项式概率p和右侧的成功次数y则说明了二项式分布，而联合分布的面则是要整合的边缘分布。

此外，这种联合分布让我意识到我们缺乏这方面的词汇。我们将术语“边际”用于归一化常数的相关子集，因为该词汇表来自具有离散数据的双向列联表，其中概率的总和写在表的边缘。我们在联合分布连续情况下继续使用相同的词汇，但它不是描述性的。

但是 Westfall 和 Henning 的数据清楚地表明，对于归一化常数，我们在联合分布的“切片”上积分 y 的值，即二项式情况下的成功次数。“切片”比边缘要清晰得多，这个数字立即清楚地说明了集成的相关子集是什么。

其它你可能感兴趣的问题

上一篇手动计算逻辑回归系数下一篇为什么截断 SVD 的重构误差等于奇异值平方和？