Fisher信息矩阵存在的条件

机器算法验证 费希尔信息
2022-03-03 09:28:51

不同的教科书为Fisher信息矩阵的存在引用了不同的条件。下面列出了几个这样的条件,每个条件都出现在“Fisher 信息矩阵”的一些定义中,但不是全部。

  1. 是否有一套标准的、最小的条件?
  2. 在以下 5 个条件中,哪些可以取消?
  3. 如果其中一个条件可以取消,你为什么认为它首先被包括在内?
  4. 如果其中一个条件不能取消,是否意味着那些没有具体说明的教科书给出了错误的定义,或者至少是一个不完整的定义?

  1. Zacks,统计推断理论(1971 年),p。194.
    矩阵都是正定的I(θ)θΘ
  2. Schervish, Theory of Statistics (1997, corr. 2nd printing), 定义 2.78, p. 111
    集合对于所有都是相同的。 C={x:f(x;θ)>0}θ
  3. 博罗夫科夫,数理统计(1998 年)。页。147 上是连续可微的
    f(x;θ)θi
  4. 博罗夫科夫,数理统计(1998 年)。页。147 是连续可逆的。
    I(θ)
  5. Gourieroux & Monfort,统计和计量经济学模型,第一卷(1995 年)。定义 (a), pp. 81-82 存在
    2θiθjf(x;θ)

相比之下,这里是Lehman & Cassella 的完整条件列表。点估计理论(1998 年)。页。124

  1. Θ是一个开区间(有限、无限或半无限)
  2. 集合对于所有都是相同的。 C={x:f(x,θ)>0}θΘ
  3. f(x;θ)θi存在且是有限的。

这是Barra, Notions fundamentales de statistique mathematique (1971) 中的完整条件列表。定义 1,第 35

分数是为所有定义 的,它的每个分量都是平方可积的,并且积分θΘ=0

有趣的是,Lehman & Cassella 和 Barra 都没有规定的积分符号下是可微的,a我调查过的大多数其他教科书都会出现这种情况。 f(x;θ) μ(dx)θi

1个回答

我无法访问所有参考资料,但我想就您的一些观点指出几点意见:

  • 博罗夫科夫,数理统计(1998 年)。页。140 提出了另一个假设,条件 (R),它非常强。此条件假定然后,作者基本上假设Fisher信息矩阵(FIM)的每个条目都是明确定义的。E[(logf(x;θ)/θ)2]<

  • 利用积分和微分算子假设的双重可微性和可交换性来推导出等式这种平等通常是有帮助的,但不是绝对必要的。E[(logf(x;θ)/θ)2]=E[2logf(x;θ)/θ2]

  • 如果不丢弃一些 FIM 实际存在的模型,就很难建立 FIM 存在的一般条件。例如,可微性条件不是 FIM 存在的必要条件。这方面的一个例子是双指数或拉普拉斯模型。相应的 FIM 定义良好,但密度在该模式下不是双可微的。其他一些双可微模型的 FIM 表现不佳,需要一些额外的条件(参见本文)。

可以提出非常一般的充分条件,但它们可能过于严格。FIM存在的必要条件尚未得到充分研究。那么,你的第一个问题的答案可能并不简单。