什么时候可能性是可能性?

机器算法验证 术语 可能性
2022-03-30 05:02:56

概率密度函数具有很好的特征:它必须是可测量的,并且必须积分到 1,并且在其支持度上必须是非负的。在这种情况下,参数向量被视为固定的,并且包含在一系列参数分布中,例如 Exp(θ) 或威布尔或...

对于估计和统计,引入了可能性的概念。粗略地说,它是参数而不是数据的函数,因为当我们最大化似然性时,我们会根据该参数分布族而不是相反的方式找到给出最“可能”数据集的参数。但是,据我了解:可能性没有功能要求θ. 当然,它将是非零的,因为它是密度的乘积。但如果我们积分超过,它可能加起来不等于 1θ的支持(我们必须乘以先验才能得到那种贝叶斯结果)。

然后我们进入这些不同形式的似然性:似然、似然、条件似然、部分似然等等。这些分别代表当我们说“嗯......这不是一个适当的可能性,但我将最大化它并看看会发生什么”时的情况。此类标题的授权表明,只有当我们确定概率模型适用于数据时,才需要使用“可能性”一词。但在大多数实际情况下会是这样吗?当然,这涉及既不可验证也不有趣的假设。

以配对 t 检验为例。这是最大的条件似然。我不关心对之间的平均差,所以通过减去成对的观察值,我可以直接对单变量的对内平均差进行建模。为什么不能说我使用的是正态概率模型来计算对内差异?我不能把这种事情称为可能性吗?

是否有更实用或更稳健的方式来理解最大似然估计?我们不应该在所有估计和推理中称一切为可能性吗?

1个回答

在某种程度上,你是对的:我们所有的模型都是错误的,因此即使是“精确”的可能性也只是真实基础数据过程的似然函数的方便似然(假设它甚至可以被参数化)。

但是,要了解可能性,您需要摆脱 Box 博士的格言“所有模型都是错误的......”,并生活在一个我们假装我们的模型是正确的世界中。这意味着从应用转向数理统计。

在这个更受约束的上下文中,什么是可能性的解释是由可能性和伪可能性本身的定义给出的:

一个函数大号是一个可能性,如果它是使用数据的真实基础分布开发的。

伪似然通过近似打破了这个定义 大号使用不同但渐近正确的概率模型。似然函数代表了对可能性定义的进一步突破,因为它们不能任何有效的概率分布生成。例如,如果您的数据是 iid,则:

¬大号(θ;X)=一世=1n(X一世;θ)