向非统计受众解释估计量的一致性

机器算法验证 渐近的 一致性
2022-04-08 22:18:01

您将如何向非统计受众(以图形方式)证明估计量的一致性很重要?

思路如下。我已经证明人们有兴趣使用的多元估计量是不一致的。不幸的是,这个论点还不够好,因为社区主要由可能不熟悉这个概念的医生和卫生专业人员组成。

任何关于人们发现有用的图形展示的建议可以帮助您了解这一点?

4个回答

这是一种间接的方法,可能会帮助您从不同的角度考虑这个问题。

让我暂时扮演魔鬼的拥护者。

在实践中*,一致性有多重要

*(您可能会考虑您的非专业观众是否会关心其他任何事情)

当你有数据时,你有一些特定的样本大小,当然,您关心该样本量的行为。如果您正在考虑几种可能的样本量,那么这几种样本量的行为将很重要。n=n0

我永远不可能看到一万亿的样本量。但是,即使在更大数量的特定样本大小下,一致性实际上是否相关,例如它没有告诉我任何关于我的实际样本量的行为。n=10120

为什么在某些您永远看不到的样本大小序列的限制下的行为会产生任何后果?当然,有时它在某种意义上可能很方便,或者很高兴,但仅凭这一点并不能证明它实际上很重要

如果你能回答这个问题,你可能会找到一种方法来激励非专业观众。

如果你对这个问题有困难,向非专业观众解释它不是你的第一个问题(你的第一个问题更像是为什么它对你来说更重要?)。

创建一个简单但现实的示例,具有已知的“人口特征”(即参数)。从此示例进行模拟,并创建一个绘图,其中x轴上的观察数和y轴上的“累积”参数估计值用红色水平线标记人口参数。指出估计收敛¹,但与“真实”值(即参数)完全不同的值,即使观察数以百万计。

¹如果估计器不收敛,只需指出这一点。展示几个认识也可能是有用的,以明确这一点。

保持一致的理由,第三部分

1)防御:微笑,当我们不知道它何时真正开始明显影响估计器的行为和结果时,估计器属性是“渐近的”。它可能需要一个巨大的样本,可能需要几十次观察。因此,我们希望保持一致性,以防止被带入烟灰缸,甚至在不知不觉中。由于患者的健康受到威胁,我想仅此一点就应该是卫生专业人员会听取的论点。

图形展示可以具有两个值,即真实值(和患者的相关治疗),以及估计量的概率极限(错误值)及其相关治疗。如果第二种情况下的治疗与一致性不足的治疗不同(并且可能不相关/有害),那么您可能会因为使用不一致的估计量而导致用户承担(并强加给患者)的潜在危险。

2)在大多数情况下,不一致也意味着即使收集了大量信息也存在偏见(尽管严格来说,在有限情况下(不)偏见的概念有多个定义)。因此,您可以回退到“即使样本量很小并且您认为不一致并不重要,随着测量值的累积,如果将它们汇集在一起​​,它们的平均值也会出错” - 因为平均操作是每个人的事情感觉很熟悉。因此,不一致会使获得的估计值或适当数据的汇总具有误导性,这会破坏任何中期/长期揭示真实情况的尝试。

有帮助的理由,第三部分
你能给他们一个积极的结果吗?是否有替代估算器可以执行相同的工作并且也是一致的?如果是,它如何比较有限样本属性,如偏差、方差、均方误差?

担心的理由,第三部分:真正艰难的情况是,如果 a) 没有替代方案,或者 b) 替代方案是一致的,但它在有限样本属性中的表现更差。在这里,您将进入适当的风险和决策理论,在这种情况下,@whuber 应该介入并清除迷雾。

非常感谢您的回复。

我有很多从事该学科的人问我“谁在乎无穷远处会发生什么?我们永远不会到达那里”......类似于格伦发布的内容,我的回答是“你为什么不考虑第一个条目在您的样本中作为样本的平均值?” 虽然这似乎是对这个问题的一个相当间接的回答。

作为对 Glen 的部分回应,医学领域的人们广泛使用严重依赖于一致性的 bootstrap。Alecos 的回答引发了其他一些问题!

我的回答是 Alecos 回答的担心域的 (b) 部分原因。目前得到的答案是很多人想要相信的,因此替代方案可能不会受到欢迎。

事实证明,在实际数据集上捍卫一致性非常困难。我以为我可以依赖几本关于决策理论的精彩文章,但它们似乎都在传递不一致性,而不是你需要解决的问题。

更具体地说,Theoretical Stats 中的大多数文本都避免使用“Inconsistent estimators are bad...”形式的陈述,而 ML 文本则非常明确地声明“Overfitting is bad...”。有人可以解释为什么会这样吗?