这种事情通常会被多重假设检验所涵盖,尽管它不是很典型的情况。
您正确地指出这与元分析不同,因为您将相同的数据用于多个测试,但多重假设测试仍然涵盖了这种情况。这里有点奇怪的是,您多次测试的假设几乎是同一个假设,然后您想要作为所有这些假设的交集的全局零假设 - 也许值得想知道为什么您觉得有必要这样做,但可能有正当理由。
如果您在进行一组更易于分析的测试,您可能会沿着联合交叉口测试路线走下去,但我认为这不会让您有任何收获,因此我建议您使用开箱即用的多重性校正。
我建议你先看看维基百科对这个主题的看法,但尽量不要陷入困境:
http ://en.wikipedia.org/wiki/Multiple_comparisons
所以,你需要使用多重校正,并排除联合交集,大致你的选择如下
- Bonferonni - 由 Holm-Bonferroni 严格控制,仅历史兴趣
- Holm-Bonferroni - 对你有用,但会消耗你的力量(在你的情况下可能很多)
- Sidak - 比 BH 更强大,但你不能使用它,因为你的 p 值是相关的
- Hommel - 比 BH 更强大,你应该没问题,因为你的 p 值无疑是正相关的
您最大的问题是您很可能在不同的测试中得到非常相似的 p 值。霍默尔不应该为此惩罚你太多。
例如,您可以使用调整 R 中的 p 值p.adjust
p = c(0.03, 0.034, 0.041)
p.adjust(p, method = "bonferroni")
p.adjust(p, method = "holm")
p.adjust(p, method = "hommel")
> p.adjust(p, method = "bonferroni")
[1] 0.090 0.102 0.123
> p.adjust(p, method = "holm")
[1] 0.09 0.09 0.09
> p.adjust(p, method = "hommel")
[1] 0.041 0.041 0.041
这些方法都控制Family-wise Error Rate,这意味着如果您根据每个 p 值通过阈值依次测试每个 p 值,那么 1 个或多个错误的概率仍然控制在。这意味着如果您拒绝一个或多个子假设,您可以拒绝全局假设,并且您的测试大小仍然控制在。αα
正如我一开始所暗示的那样,这不会是你能做的最强大的攻击,但任何更复杂的攻击都需要更多的工作。
为什么这控制α
全局零假设是所有子零假设都为真。
如果 null 被拒绝,则让单个测试的结果为,取值为 1,否则为 0。Xi
由于无疑是正相关的,我们可以使用 Hommel 来控制 FWER。Xi
这种控制意味着一个或多个测试错误拒绝的概率被控制在α
因此,
P(∑(Xi)>0)≤α
因此,如果拒绝一个或多个子假设而拒绝全局假设,则全局检验的大小为≤α