我最初的想法是事后多重比较程序中的“事后”意味着该程序是在综合测试(例如 ANOVA F 测试)给出显着结果之后进行的。
但是在阅读了豪厄尔的《心理学统计方法》之后,事后多重比较过程中的“事后”是指在数据收集之后计划该过程,而先验比较中的“先验”是指在数据收集之前计划该过程。
那我原来的想法错了吗?
Tukey–Kramer 方法(Tukey 的 HSD)是事后的吗?
Scheffe方法怎么样?
Howell 书中的表格(这里是Google Books的链接,虽然没有表格):
我最初的想法是事后多重比较程序中的“事后”意味着该程序是在综合测试(例如 ANOVA F 测试)给出显着结果之后进行的。
但是在阅读了豪厄尔的《心理学统计方法》之后,事后多重比较过程中的“事后”是指在数据收集之后计划该过程,而先验比较中的“先验”是指在数据收集之前计划该过程。
那我原来的想法错了吗?
Tukey–Kramer 方法(Tukey 的 HSD)是事后的吗?
Scheffe方法怎么样?
Howell 书中的表格(这里是Google Books的链接,虽然没有表格):
与往常一样,您的问题隐含地要求一些很可能不存在的权威答案。Scheffé 的方法和 Tukey 的 HSD 通常称为事后测试,用于计划外的比较并在综合测试之后进行,但这并不是所有此类方法的要求。
区分计划测试和计划外测试的主要论据是,如果您总是打算进行有限数量的测试(计划对比),则不一定需要调整错误级别。另一方面,如果您只是报告/测试看起来很大的差异(事后测试),您可能会“利用机会”,您不仅应该调整您进行/报告的测试,而且应该尽可能地调整设计中的成对比较/对比。
所有这一切的一个问题是,它使证据的评估和研究结果取决于实验者的意图,这是一种最违反直觉和不受欢迎的事态。这有时被认为是反对心理学中使用的零假设显着性检验的论据。
你原来的想法是错误的。豪威尔是对的。
采取简单的 t 检验,有些人只是将它们用于计划或事后,但调整它们的 p 值以进行多重比较。
您提到的两个测试通常都是事后使用的,但如果计划的测试预计会有多重比较问题,则可以用于计划的测试。例如,在 ANOVA 情况下,您在 ANOVA 之后进行计划对比,您可能想要测试非正交或简单地认识到多重比较仍然存在问题。在这种情况下,您可能会使用传统的事后程序。
此外,您可以得出的关于这两种测试的结论是完全不同的。事后测试允许您得出初步结论以指导进一步的研究,而计划中的测试直接与您正在研究的理论说话。
许多人——以及 SPSS——实际上按照您最初描述的方式使用术语“事后”。豪厄尔的用法可能更常见。但是,与其争论哪个定义是“正确的”,重要的是要知道当你看到这个术语被使用时,它可能意味着不同的东西。因为它的使用不一致,最好避免自己使用这个词,除非你的意思绝对清楚。这个问题在Frane,2015 年的“计划假设检验不一定免于多重性调整”中进行了讨论
顺便说一句,豪厄尔将给定的多重比较程序分类为严格用于先验或计划外测试似乎是相当武断的。