无论样本大小如何,当先验分布不会被数据淹没时?

机器算法验证 贝叶斯 可能性 事先的 可识别性
2022-04-13 23:19:51

我在本书第 3 章末尾遇到了一个问题 8

举两个简单的例子,说明无论样本大小如何,先验分布都不会被数据淹没

任何人都可以提供任何例子,因为我认为随着数据点的数量趋于无穷大,数据总是会压倒先验(假设没有定义不明确的先验)。

2个回答

一种方法是设置一个常数的先验。例如,采用一个简单的线性回归上下文,其中有一个截距、一个斜率和一个误差项。如果您将 beta 上的先验设置为βN(5,0),那么任何数据量都无法压倒之前的数据。您将任意数量的数据点乘以没有方差的数据;无论样本大小如何,您都会得到 5 个。

另一个例子是缺乏识别。

假设一个适当的先验π(θ). 我们得到后验等于先验,π(θ|y)=π(θ), 如果f(y|θ)不依赖于θ,即,如果可能性不能提供有关感兴趣参数的信息:

π(θ|y)=f(y|θ)π(θ)f(y|θ)π(θ)dθ=f(y|θ)π(θ)f(y|θ)π(θ)dθ=π(θ)π(θ)dθ=π(θ)

因为可能性不取决于θ,数据不会改变我们对θ,所以后验仍然等于先验。