单向方差分析是否有现实/相关的用例?

机器算法验证 方差分析 多重比较 实验设计 统计能力 事后
2022-03-18 13:38:00

我很难想象可以通过单向方差分析来回答的现实研究问题。两种或多种方式与交互项和可能的混合因素(受试者内部和受试者之间),确定你需要做一个方差分析,但是一种方式?我谈到了具有两个以上组的单向方差分析。如果只有两组,那就是简单的 t 检验或 Wilcoxon 变异。

提出我的问题的一种方式是:是否真的存在研究问题,您只想知道这些群体中的至少一个是否与任何其他群体不同,但您不在乎它们是哪一个?

提出我的问题的另一种方式是声明繁重的工作不是由 ANOVA 完成的,而是由计划的对比或与它一起进行的详尽的事后测试完成的。但是那些真的依赖方差分析吗?作为 t 检验的变体,它们只需要来自需要正态分布的区间变量的独立同分布数据,除非n足够大。到目前为止不需要方差分析。由于您将进行不止一次比较,因此您应该控制您的第一类错误率。如果您正在对 FWER 进行所有成对比较和控制,那么共识似乎是您不需要 ANOVA(并且您应该进行功效分析,而不是每组只为 CLT 取 30 个样本点)。然而,在这种频繁出现的情况下,我经常看到 ANOVA 已经完成。这只是历史遗迹吗?我认为这种添加可能是有害的,因为它通过要求 ANOVA 在进行事后测试之前必须是显着的(在下面更详细地讨论)而降低了整个过程的能力。

然后是计划的对比,您不比较所有配对,但可能只比较一些预先选择的配对和/或组的一些线性组合(这两种治疗的平均水平是否优于其他三种治疗的平均值等)。例如(Howard Seltman,p.325)声称那些需要首先拒绝方差分析的零假设:

同样的论点适用于在没有首先“筛选”方差分析的整体 p 值的情况下查看您计划的比较。筛选可以保护您的 1 类实验错误率,而缺乏筛选会提高它。

围绕“筛选”的恐吓引述似乎在告诉我。当然,如果你再增加一个障碍,你的 I 类错误就无法解决。在所有其他条件相同的情况下,它最多可以保持不变(测试完全多余)或减少(测试测量的东西略有不同)。但是,如果您唯一关心的是 I 类错误率,为什么不直接降低水平呢?这似乎肯定比添加一些不能真正解决您的研究问题的其他测试更清洁。(我也不同意 I 型错误率应该始终是您最关心的隐含逻辑,至少除非您还进行功率分析,否则不会。)α

我忽略了什么吗?显着方差分析结果的条件是否可能只是因为对于预先选择的对比,根本没有对多重比较进行校正?如果是,我们怎么知道这不是我们应该纠正 FWER 的情况?(家庭规模将由预选对比的数量决定,如果我们真的预先选择它们)我们怎么知道相反,先决条件方差分析是处理我们留下的每个预选对比的正确方法在名义水平?α

编辑:由于一些更复杂的 ANOVA 设计可以等效于具有更多组的单向设计(涵盖了两种或多种方式 ANOVA 之间的所有组合),也许我的问题更加普遍,适用于许多其他方差分析。不过,我不想夸大我的情况。我不确定哪些可以等效于单向设计,哪些不能。

2个回答

您提出以下问题:是否真的存在研究问题,您只想知道这些群体中的至少一个是否与任何其他群体不同,但您不在乎它们是哪一个?

是的,这是一个这样的例子。
研究问题:被随机分配到不同助教朗诵部分的学生在关键课程评估指标(例如期末考试)上的表现是否相当?

我认为您提出查询的方式的问题在于,它似乎表明只有具有统计显着性结果的方差分析才可能用于 RQ。然而,这里的 RQ 仍然是合理的(有人可能想知道),而且碰巧希望很可能不会找到具有统计意义的发现。

也就是说,如果您的查询是具体的,那么当您期望差异时,是否还有其他方法而不是 1-way ANOVA?那么我会同意……找到一个真实的 RQ 示例可能会更难。


为了解决提出的第二个问题:然而,在这种频繁出现的情况下,我经常看到 ANOVA 无论如何都完成了。这只是历史遗迹吗?

我认为,在没有首先确认实际存在差异(即综合测试)的情况下开始计划的比较是确认测试假设的准失败。因此,我认为这不仅仅是一个历史遗迹,而是一个应该鼓励的过程(即使在像方差分析这样更迂腐的例子中)。作为一名审稿人,他遇到过不止一份手稿,当 MANOVA 未能检测到差异时,报告了随后的重大发现(即使是 MCP 调整)……我认为在维护单向综合协议方面有话要说ANOVA 和随后的 MCP。

一个有趣的历史用例是 RA Fisher 在“研究人员的统计方法”中的“类内相关性和方差分析”一章中对 ANOVA 的解释(有几个在线版本,例如可以通过Wikipedia 文章找到)。在那里,他介绍了具有类内相关性的 ANOVA作为一种特殊情况(这是单向 ANOVA 的一个例子)。

(早期的 ANOVA 示例发生在 1923 年,比较了不同类型马铃薯和粪肥的产量,是双向 ANOVA 的示例,但与组内相关性相关的单向 ANOVA 也是一个现实的研究问题/用途案例。我实际上不明白为什么双向与单向会在方差分析应用的适用性上有所不同)

ANOVA 回答的问题就是:变异从何而来?是由于类内变异还是类间变异?单向,双向,多向。对于这样的问题,维度无关紧要。ANOVA 在任何维度上回答的问题只是同一类的样本是否相关,该类是否在变异中起作用。

提出我的问题的另一种方式是声明繁重的工作不是由 ANOVA 完成的,而是由计划的对比或与它一起进行的详尽的事后测试完成的。但是那些真的依赖方差分析吗?

许多研究问题并不关心具体的对比。例如,在费舍尔的例子中,研究问题可能是:兄弟姐妹的身高是否相关?而且您不关心特定的兄弟姐妹群体是否不同,而是查看群体之间的整体差异(群体之间的差异只是个体的随机差异,还是有一些原则导致群体之间的差异?)

然而,在这种频繁出现的情况下,我经常看到 ANOVA 已经完成。这只是历史遗迹吗?

ANOVA 有时可以在单独的对比测试之前完成,作为多重比较问题的控制。

例如看这里:https ://en.m.wikipedia.org/wiki/Multiple_comparisons_problem#Controlling_procedures

在进行多重比较之前依赖综合测试的方法。通常,这些方法需要显着的 ANOVA、MANOVA 或 Tukey 范围检验。这些方法通常只提供对 I 类错误的“弱”控制,除了某些数量的假设。