常客术语中的“参数固定且数据变化”和贝叶斯术语中的“参数变化且数据固定”究竟是什么意思?

机器算法验证 贝叶斯 常客 哲学的
2022-03-23 16:49:32

我经常听到我的问题中的这句话,我有点理解它的意思,但从来没有清楚地了解它。希望能清楚地了解这句话的确切含义。

2个回答

在频率论哲学中,参数被视为非随机对象,而数据被视为随机对象,因此“参数是固定的,数据是可变的”。

在贝叶斯哲学中,参数被视为随机对象,并且通过对观察到的(固定)数据集进行调节来执行推理,因此“参数变化而数据是固定的”。通过将参数视为随机对象,我们的意思是参数具有分布,就像观察值具有分布一样。

但是请注意,这种解释是这种随机性反映了我们对真正基础参数的信念换句话说,贝叶斯主义者和常客都同意存在一个真正的固定参数,但贝叶斯主义者以分布的形式进一步编码了对该参数可能取什么值的信念。

为了说明哲学上的差异,考虑一个推理问题,我们的目标是为某个参数的采样分布与模型相关联作为常客,您会推断出置信区间和贝叶斯的可信区间。θf(X|θ)

在频率论范式下,您观察一些数据构造一个置信区间,即您有一些函数映射到某个区间。因为是一个随机变量,而只是的一个函数,所以我们本质上是在构建“随机”区间估计。该参数被视为固定的未知常数。因此,置信区间的含义是这个随机区间捕获固定未知常数的概率。请注意,这意味着如果您观察到X=xxCxXCXC(X)θ100x,并且您为每组观察构建了一个 95% 的置信区间,您将捕获其中大约θ95

在贝叶斯范式下,您首先对参数可能采用的值的信念进行编码,例如使用分布然后你再次观察一些数据为了得出一个可信区间,您可以推断出您更新的信念,编码为称为后验分布的分布,我们将其表示为后验分布定义为 在这里,我们看到我们的后验编码了我们的不确定性π0X=xπ1

π1(θ|x)=f(x|θ)π0(θ)p(x).
θ以分布的形式,就像我们在观察数据之前如何编码我们的信念一样。这里的数据是固定的,因为我们的估计取决于观察到的情况。然后将可信区间作为后验区间。可信区间被解释为参数在区间内取值的概率。

在贝叶斯统计中,我们以观察到的数据为条件。您陈述的贝叶斯部分意味着数据是已知的(因此固定为已知值)并且参数是未知的(因此允许变化并采用任何合理的值)。

另一方面,在频率统计中,我们将观察到的数据与可能观察到的数据进行比较。所以我们考虑各种假设数据(数据不是固定的)。参数是固定的这一事实更加微妙。但本质上意味着结果不是也不使用未知参数的概率分布。常客的结果简化为假设参数的特定值或对于任何假设值都是正确的陈述。例如,置信区间会以预先指定的速率拒绝真实参数(无论它们被假定为什么)。