小样本的正态性检验

机器算法验证 样本量 正态假设
2022-04-10 03:12:19

前提:在统计上不是很聪明!

数据:我有关于两组受试者(N=7)的定量数据(两个变量,A 和 B);我将进行 T 检验以检查这些组的差异。在此之前,我使用 Matlab lillietest 函数对第一组数据 A 和 B 进行了正态性检验。测试说 A 正常(H0 成立),B 不正常(H0 拒绝)。这是我的数据,后跟 p 值:

A       B    
0.000   0.125
1.500   0.125
2.375   1.125
2.375   0.125
5.625   0.250
4.250   0.000
0.750   0.000

p=0.37  p=0.008
H0=1    H0=0

我在第二组中得到了类似的结果。我的结论是,我只能对变量 A 执行 t 检验,而不是 B。

问题1)我的结论正确吗?

问题2):鉴于样本量非常小(n = 7),我应该如何考虑正态性检验响应?我是否进行了有意义的测试?它有最小样本量吗?

4个回答

详细说明 tf 的答案。

正态性检验是一种鬼鬼祟祟的野兽,因为从概念上讲,它的工作方式与“正常”统计检验相反。通常,您的知识基于对 null 的拒绝。在这里,“期望的”结果(正常性的“证明”)是不被拒绝。但是,拒绝失败不等于证明无效!找不到效果的事实并不意味着它不存在。

因此,如果样本很少,您将永远不会拒绝您的假设,因此您可能会错误地假设您的数据是正常的。

相反,如果您有大量数据,您将始终拒绝您的空值,因为现实世界中没有数据是完全正常的。考虑人类身高——在生物学中,通常假设其具有正态分布。事实上,在过去的 150 年里(从高尔顿开始),它一直被认为是正常的。但是,高度有明确的界限:不能为负数,不能为 100 米。因此,它不可能是正态分布的。

您将在此处找到包含大量示例的更详细的讨论

所以,你可以做什么?

  • 有任何理由相信您的数据不是正态分布的吗?你能猜出先验分布吗?典型的例子可能包括细菌生长或事件发生的频率。
  • 使用 qq 图或类似的视觉辅助工具来做出决定。
  • 如果您的论文导师强迫您进行正态性检验,而不是只关注 p 值,请考虑效应大小或计算偏度。
  • 你有来自其他实验的类似数据吗?你能用它来增加你的样本量吗?
  1. 您的结论是正确的,t 检验需要正态性假设。然而,t 检验对于违反它是相当稳健的。在任何情况下,当您可以保证正态性假设时,您都可以使用非参数,例如测试 Mann Whitney。

  2. 您应该,通过如此少量的观察,您的测试能力很小,因此如果您检测到它,“效果”可能很大(意味着数据非常不正常)。当您进行数千次观察时,通常会出现问题,您拒绝分布是正态的假设,但这通常是因为没有什么是完全正态的,即使“效果”很弱,您也有很大的力量。

  1. 没有数据是完全正态分布的,因此数据必须是正态才能适用 t 检验的想法是错误的。如果是这样,没有人可以使用 t 检验。

  2. 对于良好的分布范围,由于中心极限定理、斯卢茨基引理以及随着自由度增加的 t 分布收敛到正态这一事实,t 检验对于足够大的样本量是渐近有效的。

  3. 显然给定的数据集相当小,因此可以怀疑样本量是否足够大。然而,要问的一般问题不是“数据是否呈正态分布?” (无论如何它们都不是),而是是否以严重影响 t-test 行为的方式违反了正态性。这主要是大异常值和强偏度的情况。样本 B 中的 1.125 看起来确实很狡猾。它会提示我在这里使用 Wilcoxon 测试。

  4. 正态性测试有时可以发现严重违反正态性的行为,因此它们会提供一些信息,但是它们所做的与真正需要的有所不同,因为它们也可能会检测到无害的偏差,并且偶尔会错过关键的偏差。不幸的是,只要您不完全有信心通过查看数据来发现问题,就没有可靠的替代方案。还有文献表明不应使用初步正态性检验因为它会影响 t 检验背后的理论(这也适用于从数据中直观地检测问题,尽管很少提及)。如需查看和讨论,请参阅https://arxiv.org/abs/1908.02218

  5. 其他模型假设(例如独立性)通常比正态性更成问题。

没有人谈论一件事:只需用常识查看给定的数据。

B 组有 2 个零,然后是小值和一个 1.125。所以为什么?典型的结果,错字(0.125 和其他的一样),......?这个数据看起来很不稳定,我不相信它是典型的。试着想象一下这种更大的样本会是什么样子——这变得很困难(偶尔大于 1 的东西,否则小值?填补小值和大值之间的差距?)。

另一方面,即使不稳定,这些值也明显小于 A 组的值。因此,如果您想比较各组(需要进行统计测试并且不能只显示测量值的点图),请使用非参数检验(Wilcoxon 检验,相当于 Mann-Whitney-U)-> 差异如此之大,缺乏能力是问题,因此您甚至不必关心正态性。在忘记最终目标的同时对每一步进行详细测试,这比省略它更不科学;)