您如何向没有统计背景的人解释统计意义?

机器算法验证 统计学意义 推理 沟通
2022-02-27 23:46:15

背景:
我必须为一个绝对是统计学初学者的客户(某种律师)进行数据分析。他问我“统计意义”这个词是什么意思,我真的很想解释它……但由于我不擅长解释我失败的事情;)

4个回答

差异是偶然的结果。

当我们认为某事具有统计意义时,我们认为差异大于可以合理解释为偶然发生的差异。

注意:我想在这个答案中强调的是,统计显着性是一个有用的工具,但也与事实不同。

拿一包 52 张卡片。如果我的客户是无辜的,那是一副普通的牌,13颗心。如果我的客户在撒谎,那就是固定包,所有 52 张卡片都是红心。

我画了第一张牌,它是一颗心。啊哈,有罪!好吧,显然常识告诉我们情况并非如此:即使他是无辜的,也有四分之一的机会会发生这种情况。仅仅看一张卡片,我们没有统计意义。

所以我们抽了第二张牌。另一个心。嗯……那肯定有罪!好吧,剩下的 51 张牌中还有 12 张红心,所以并非不可能。数学 (13/52 * 12/51 = 0.0588) 告诉我们这种情况发生的概率约为 6%,即使是无辜的。对于大多数科学家来说,这仍然不算数。

抽第三张牌,另一颗心!连续三个。发生这种情况的可能性是 (13/52 * 12/51 * 11/50 = 0.01294),因此只有超过 1% 的时间会偶然发生。

在大部分科学中,5% 被用作分界点。因此,如果您除了这三张牌之外没有其他证据,那么您的统计结果就是他有罪。

重要的一点是,你被允许看的牌越多,你对他有罪的信心就越大,这是另一种说法,统计意义就越高。

注意:除非允许您查看 14 张牌,否则您永远无法证明他有罪。用一副普通的牌理论上可以连续抽出 13 颗红心,但 14 颗是不可能的。[除了学究:让我们假设卡片上的数字不可见;所有的牌都是四种可能的花色之一,就是这样。]

注意:当你抽出除红心以外的任何牌时,你就可以证明他是无辜的。这是因为只有两种可能的包装:普通或全心。现实生活更复杂,数学也变得更复杂。

顺便说一句,如果您的客户不是纸牌玩家,请尝试大富翁:有时每个人都会掷双六;但是如果有人每次你怀疑时都掷出双六。统计数据只是让我们对我们应该有多可疑给出一个确切的数字。

我自己的建议是不要谈论以下事情:

  1. p 值,
  2. 检验统计,
  3. 事情发生的可能性仅仅是偶然的。

不要对律师太苛刻。这是一个受过良好教育的人,他至少在大学统计学课上度过了一个学期,而且一点也没有卡在他身上。对于与我共事过的几乎所有其他非科学家来说,情况都是一样的——统计显着性不成立。这是一个太不自然的概念。

我鼓励你用证据来解释统计意义古典统计学家以 0 到 1 的等级对证据进行编码,其中较小的值构成更多的证据,而 0.05 是通常画线的位置。

“具有统计意义”意味着某件事可能只是随机发生,但不太可能发生。相反,更有可能是某种原因。您应该使用与您的客户相关的示例来使这一点更加具体,因为该解释是如此抽象。

例如,如果安妮律师平均比比尔赢得的案件多得多,这可能只是随机发生的。然而,如果安妮赢得了统计上显着的更多案件,那么更有可能有一些东西可以帮助解释为什么安妮赢得的案件比比尔多。我们不知道原因。也许安妮是一个更好的律师,或者比尔故意选择更困难的案件。