你能重现这个卡方检验结果吗？

机器算法验证 统计学意义 卡方检验
2022-03-16 14:16:45

在Skeptics.StackExchange上，一个答案引用了一项对电磁超敏反应的研究：

我对使用的一些统计数据持怀疑态度，并且希望在仔细检查它们是否得到适当使用方面获得一些专业知识。

图 5a 显示了受试者试图检测电磁场发生器何时打开的结果。

这是一个简化版本：

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

他们声称使用了卡方检验，并发现了显着性（p < 0.05，没有说明 p 是什么。）

使用卡方检验（2 × 2 表）或 Fisher 精确概率检验的 Freeman-Halton 扩展（2 × 3 表；Freeman &霍尔顿，1951）。

我看到几个问题。

  • 他们排除了一些数据 - 参见表 5b - 他们将设备长时间关闭。我看不出分离这些数据的理由。

  • 他们似乎声称结果在实际设备开启时具有统计意义，但在未开启时则不然。（我可能误读了这一点；不清楚。）这不是卡方检验可以给出的结果，是吗？

  • 当我试图用在线计算器重现这个测试时，我发现它在统计上是微不足道的。

这是我真正的问题：我说得对吗？：使用 Fisher 精确检验的双尾卡方检验是分析此数据的正确方法，并且没有统计学意义。

2个回答

在我看来，这个结论有三点错误。

首先，正如@caracal 所说：他们正在使用单尾测试报告“重要性”，而没有说他们正在这样做。我认为，大多数人几乎总是建议使用双尾测试。当然不说就用单尾检验是不行的。

其次，效果微乎其微。当有信号时，受试者（只有一个）在 11% 的时间 (32/293) 中检测到它。当没有信号时，她有 6.5% 的时间检测到信号。这种差异似乎很小。并且受试者在 89% 的时间内都无法检测到信号！

第三，正如@oddthinking 所指出的，有一些选择性的数据报告没有得到适当的解释或证明（我没有仔细阅读论文，所以只是重复原帖中的内容）。

根据此代码，对给定表的 Fisher 精确测试给出

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0.08

其它你可能感兴趣的问题
上一篇这可以被认为接近正态分布吗？ 下一篇在R中建模断棒模型，其中一条线具有恒定梯度？