评分函数背后的直觉是什么?

机器算法验证 可能性 数理统计 可能性 直觉 费希尔信息
2022-03-08 10:17:47

维基百科告诉我们,分数在 Cramér-Rao 不等式中起着重要作用。它还阐明了定义:

V=θlogL(θ;X)

但是,我找不到这个数量表达的直观解释。显然,它以某种方式测量了的对数似然,但这究竟意味着什么?θX

维基百科文章还提到期望值这可以以某种方式解释吗?E[Vθ]=0

更进一步,在课堂上我们被告知,Fisher 信息(对此我也没有直观的理解)是结合意味着,这是正确的吗?I(θ)=E[V2θ]E[Vθ]=0I(θ)=Var[V]

提前致谢。

PS:这不是作业。

1个回答

Wikipedia 文章给出了一个伯努利过程的示例,其中成功和失败以及成功概率,其中得分为如果,即,则ABθV=AθB1θθ=AA+Bθ1θ=ABV=0

值的预期值时,得分更正,而成功次数更少时,得分更负。 θ

分数可能直观地被视为一种衡量参数实际上与数据所暗示的值的接近程度的一种度量(或者如果您倾向于这种方式,则相反),以差异的方向为标志。分数的方差会随着数据的增加而增加,因此方差直观地表明数据将为您提供有关参数的信息量。