机器算法验证 - 如何形式化先验概率分布？是否有应该使用的经验法则或技巧？ - 吾爱随笔录

如何形式化先验概率分布？是否有应该使用的经验法则或技巧？

机器算法验证贝叶斯事先的经验法则引出

2022-03-02 22:27:38

虽然我喜欢认为我很好地掌握了贝叶斯统计分析和决策中的先验信息的概念，但我常常难以理解它的应用。我想到了几个例子来说明我的挣扎，我觉得到目前为止我读过的贝叶斯统计教科书没有正确解决它们：

假设几年前我进行了一项调查，表明 68% 的人有兴趣购买 ACME 产品。我决定再次进行调查。虽然我将使用与上次相同的样本量（例如，n=400），但从那时起人们的意见可能已经发生了变化。但是，如果我使用 beta 分布作为先验，其中 400 名受访者中有 272 人回答“是”，我会给予我几年前进行的调查和我现在进行的调查同等的权重。是否有一个经验法则可以确定我想放在先验的更大不确定性，因为该数据已有几年的历史？我知道我可以将先验值从 272/400 减少到比如说 136/200，但这感觉非常武断，我想知道是否有某种形式的理由，也许在文献中，

再举一个例子，假设我们即将进行临床试验。在启动试验之前，我们进行了一些可以用作先前信息的二次研究，包括专家意见、先前临床试验的结果（相关性不同）、其他基本科学事实等。如何结合这些信息范围（其中一些本质上是非定量的）到先验概率分布？是否只是决定选择哪个家庭并使其足够分散以确保其被数据淹没，或者是否已经做了大量工作来建立一个信息量相当大的先验分布？

1个回答

您在 400 次尝试中处理 272 次成功的先验信息的想法确实具有相当可靠的贝叶斯证明。

正如您所认识到的，您正在处理的问题是估计成功概率的问题 $\theta$ 伯努利实验。Beta 分布是相应的“共轭先验”。这种共轭先验享有“虚构样本解释”：

Beta先验是

π (θ) = \frac{Γ (α_{0} + β_{0})}{Γ (α_{0}) Γ (β_{0})} θ^{α_{0} - 1} (1 - θ)^{β_{0} - 1}

$\pi(\theta)=\frac{\Gamma(\alpha_0+\beta_0)}{\Gamma(\alpha_0)\Gamma(\beta_0)}\theta^{\alpha_0-1}(1-\theta)^{\beta_0-1}$ 这可以解释为包含在大小样本中的信息

\underline{n} = α_{0} + β_{0} - 2

$\underline{n}=\alpha_0+\beta_0-2$ （大致如此，如

\underline{n}

$\underline{n}$ 当然不必是整数）与

α_{0} - 1

$\alpha_0-1$ 成功：

π (θ) = \frac{Γ (α_{0} + β_{0})}{Γ (α_{0}) Γ (β_{0})} θ^{α_{0} - 1} (1 - θ)^{\underline{n} - (α_{0} - 1)}

$\pi(\theta)=\frac{\Gamma(\alpha_0+\beta_0)}{\Gamma(\alpha_0)\Gamma(\beta_0)}\theta^{\alpha_0-1}(1-\theta)^{\underline{n}-(\alpha_0-1)}$ 因此，如果你采取

α_{0} + β_{0} - 2 = 400

$\alpha_0+\beta_0-2=400$ 和

α_{0} - 1 = 272

$\alpha_0-1=272$ ，这对应于先验参数

α_{0} = 273

$\alpha_0=273$ 和

β_{0} = 129

$\beta_0=129$ . “减半”样本将导致先验参数

α_{0} = 137

$\alpha_0=137$ 和

β_{0} = 65

$\beta_0=65$ . 现在，回想一下 beta 分布的先验均值和先验方差由下式给出

μ = \frac{α}{α + β} and σ^{2} = \frac{α β}{(α + β)^{2} (α + β + 1)}

$\mu=\frac{\alpha}{\alpha+\beta}\qquad\text{and}\qquad\sigma^2=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$ 将样本减半保持先验均值（几乎）不变：

alpha01 <- 273
beta01 <- 129
(mean01 <- alpha01/(alpha01+beta01))

alpha02 <- 137
beta02 <- 65
(mean02 <- alpha02/(alpha02+beta02))

但增加了先验方差

(priorvariance01 <- (alpha01*beta01)/((alpha01+beta01)^2*(alpha01+beta01+1)))
[1] 0.0005407484

到

(priorvariance02 <- (alpha02*beta02)/((alpha02+beta02)^2*(alpha02+beta02+1)))
[1] 0.001075066

如预期的。

其它你可能感兴趣的问题

上一篇gam模型结果解读下一篇什么是渐近误差？