如果整体 ANOVA 不显着,但具体对比显着怎么办?

机器算法验证 方差分析 统计学意义 对比
2022-03-17 14:49:30

研究设计:我有一个 2x3 因子设计,2 个时间级别(2050 或 2100)乘以 3 个信息级别(无/控制、中等、极端)。

在分析此设计时,我设置了一些非常具体的对比,特别是 Control vs. Other、Moderate vs. Extreme,以及 2050 vs. 2100。对于一个 DV,整体 ANOVA 不显着,但 Control vs. Other 对比是显着的。

问题:解释不显着方差分析但显着对比的最佳方法是什么?

我知道方差分析用于降低家庭错误率,我不想陷入忽略整体方差分析以进行成对比较的陷阱。然而,这是我提前计划的少数几个对比之一。这是否会对解释产生影响,还是我应该简单地认为操纵并不重要?

2个回答

您的问题的答案反映了您对整体(或实验)阿尔法的看法。如果在您收集数据之前,您提出了计划的比较(听起来您这样做了),那么在您收集数据之后,您只进行那些比较,并且没有理由查看任何其他比较(AKA对比)也不在整体方差分析。你为什么看整体方差分析?如果您同时进行了计划比较和临时比较,那么您夸大了您的实验 alpha,有些人认为这是一个严重错误。当然,您可以进行临时比较来帮助您计划未来的研究,但不要报告它们。此外,您似乎有两个 DV 并做了两个 ANOVA。一般来说,如果你做两个方差分析,每个 p = .05,那么你已经夸大了你的实验 alpha。所以,在进行 2 次 ANOVA 时,您可能会降低两个 ANOVA 中的每一个的 alpha 水平,以保持您的实验性 alpha。或者,您可以进行 MANOVA(即多变量方差分析),它允许您同时考虑两个 DV。当然,您还应该查看效果大小,以帮助您理解数据的含义。

是的,您需要调整 alpha,特别是如果您计划进行非正交比较。如果您在 ANOVA 中设置了对比并测试了它们之间的正交性,则可以分解 ANOVA 的 SC 和 df。计划的比较总是比传统的事后测试更强大,但在对比度是非正交的情况下,你夸大了实验误差。您可以检查许多文本框中对比度之间的正交性。但是我不明白您是否将时间设置为两个级别的因素,您为什么要在这些时间之间进行对比?