没有一致收敛的逐点收敛的实用性

机器算法验证 数理统计 收敛 渐近的 估计者
2022-03-06 03:51:44

动机

在模型选择后推理的背景下,Leeb & Pötscher (2005)写道:

尽管人们早就知道参数的一致性(至少是局部的)是渐近分析中的一个重要问题,但在计量经济学和统计理论的日常实践中,我们经常满足于证明逐点渐近结果,这一教训经常被遗忘(即,对于每个固定的真实参数值都成立的结果)。幸运的是,这种健忘症——以及由此产生的实践——没有显着的后果,只要在足够“规则”的模型中只考虑足够“规则”的估计量。然而,由于模型选择后的估计器非常“不规则”,因此这里的均匀性问题会猛烈地浮现出来。

背景

均匀收敛

假设估计量 alpha ) 在分布到某个随机变量时均匀地收敛(wrt ) 。那么对于给定的精度,我们总能找到一个样本大小,使得对于每个的分布与 (即限制分布)对于每个最多θ^n(α)αZε>0Nεαθ^n(α)Zεn>N

这在实践中很有用:

  1. 在设计实验时,我们可以通过找到相应的将不精确度限制在所需的任意小水平上。εNε
  2. 对于大小为的给定样本,我们可以找到来限制不精确度。NεN

逐点(但不均匀)收敛

另一方面,假设一个估计器ψ^n(α)以逐点方式收敛(wrtα)——但不均匀——分布到一些随机变量Z. 由于不均匀性,存在精度εN>0这样对于任何样本大小N我们总能找到一个值αN使得分布的距离ψ^n(αN)和分布Z(即限制分布)将至少是ε对于一些n>N.

一些想法:

  1. 这并没有告诉我们有多大εN将会。
  2. 在设计实验时,我们不能再将我们的不精确性限制在任意ε通过寻找合适的Nε. 但也许我们可以绑定εN在某个较低的水平,那么我们就不必担心它。但是我们可能并不总是能够将它绑定到我们想要的地方。
  3. 我们可能会也可能不会找到εN限制给定大小样本的不精确性N.

问题

  1. 缺乏一致的收敛性是否会使估计器在很大程度上无用?
    (我想,答案是“不”,因为很多论文都关注逐点收敛......)
  2. 如果不是,那么非一致收敛估计器有用的一些基本示例是什么?

参考:

1个回答

很难给出一个明确的答案,因为“有用”和“无用”不是数学的,而且在许多情况下是主观的(在其他一些情况下,可以尝试将有用性形式化,但这种形式化又可以讨论)。

这里有一些想法。

(a) 均匀收敛显然比逐点收敛强得多;使用逐点收敛无法保证,如果您不知道真实的参数值,那么对于任何给定的n你离你想去的地方很近。

(b) 逐点收敛仍然比完全没有收敛要强。

(c) 如果你有一个给定的n那不是巨大的均匀收敛,你实际上可以用n你有可能没有任何好处。这并不意味着您的估计器不好,而是意味着统一收敛界并不能保证您足够接近真实值。你可能仍然是。

(d) 如果我们没有一致的收敛结果,有多种可能性:

i) 均匀收敛实际上可能成立,但还没有人设法证明这一点。

ii) 可能会违反均匀收敛,但是它可能只会在参数空间中不现实的区域中被违反,因此实际的收敛行为可能没问题。就像在 (c) 中一样,仅仅因为你没有一个定理来保证你接近真实值并不意味着你很远。

iii) 可能会违反均匀收敛性,并且您可能会在各种现实情况下遇到不规则行为。倒霉。

iv) 甚至可能很小n- 情况n实际上在实践中完全不收敛的东西比逐点或一致收敛的东西要好。

(e) 现在你可能会说,一致收敛显然是有用的,因为它给了我们一个具有明确实用价值的保证,没有它我们就没有任何保证。但是除了一个估计器可能是好的,即使我们不能保证它是好的,事实上我们也从来没有有一个真正适用于实践的保证,因为在实践中模型假设不成立,而且情况实际上比说,好吧,模型 P 是错误的,但是有一个真实的模型 Q 太复杂了,可能由非参数一致收敛结果驯服;不,所有这些模型都是理想化的,首先没有任何东西是独立同分布的或遵循任何常规依赖或非同一模式(甚至我们在模拟中使用的随机数实际上也不是随机数)。因此,统一收敛保证也适用于理想化的情况,而实践则是另一回事。我们使用诸如一致收敛之类的理论来对理想化情况下的估计量做出质量陈述,因为这些是我们可以处理的情况。我们真的只能说,在这种理想化的情况下,

抱歉,没有具体的例子,但是在任何你找不到一致收敛估计器而只能找到逐点收敛估计器的设置中,逐点收敛估计器可能会帮助你(有时你甚至无法显示逐点收敛的估计器可能会帮助你甚至更多)。那么它可能不会,但是出于任何实际原因(模型假设问题,小n, 测量, 不管) 一致收敛的也可能在特定情况下产生误导。