对认为置信区间太宽而无用的客户说什么?

机器算法验证 置信区间 解释
2022-02-10 00:02:44

假设我是一名顾问,我想向我的客户解释置信区间的用处。客户对我说,我的间隔太宽而无用,他更愿意使用一半宽的间隔。

我该如何回应?

4个回答

这取决于客户所说的“有用”是什么意思。您的客户建议您任意缩小间隔似乎反映了一种误解,即通过缩小间隔,您以某种方式神奇地降低了误差幅度。假设数据集已经收集并修复(如果不是这种情况,@shabbychef 在评论中的笑话会给你答案),对你的客户的任何回应都应该强调并描述为什么没有“免费午餐”以及你通过缩小间隔来牺牲一些东西。

具体来说,由于数据集是固定的,因此减小置信区间宽度的唯一方法是降低置信水平。因此,您可以在您更有信心包含真实参数值的较宽区间或您不太自信的较窄区间之间进行选择。也就是说,更宽的置信区间更保守。当然,你永远不能盲目地优化宽度或置信水平,因为你可以通过让它跨越整个参数空间来虚无地生成一个 $100 \%$ 的置信区间,并且可以获得一个无限窄的置信区间,尽管它会有 $0 \ %$ 覆盖率。 100% confidence interval by letting it span the entire parameter space and can get an infinitely narrow confidence interval, although it will have 0% coverage.

较不保守的区间是否更有用显然取决于上下文以及区间宽度如何作为置信水平的函数而变化,但我无法设想使用低得多的置信水平来获得的应用程序更窄的间隔将是可取的。此外,值得指出的是,$95 \%$ 置信区间已经变得如此普遍,以至于很难证明你为什么要使用 $60\%$ 置信区间。 95% confidence interval has become so ubiquitous that it will be hard to justify why you're, for example, using a 60% confidence interval.

我建议这完全取决于您的客户想要使用置信区间的目的。

  1. 某种报告/出版物/等。通常报告 95% CI。我可能会很好地告诉他“这在统计上是不合理的”并留在那里,这取决于客户是否倾向于遵从您的专业知识。如果他们不这样做,您必须对他们想要的东西做出判断,以判断您自己的专业舒适度。
  2. 某种内部文件 - 我会明确表示您不同意,并明确读者现在正在查看哪种类型的置信区间,因为它不是 95%。
  3. 作为估计不确定性的一种度量,比如说确定一个人可能需要做多少敏感性分析?我会给他们一个显示完整分布的数字,其中包含 95% CI 和类似 68% CI 的标记,并让他们使用它。

如果我设法不让“所以进行更大的研究”成为我口中的第一件事,我会为自己感到自豪。

像大多数人一样使用标准偏差。当人们习惯了 68% CI 时,95% CI 可能会很吓人。

您提供某个标准水平的置信区间,例如 90% 或 95%。客户端可以判断间隔是否太宽而无用。但这当然并不意味着您可以缩短它以使其有用。您可以建议增加样本量将减小给定置信水平下的区间宽度,因为它大致减小了样本量平方根的一个因子。