不同实验的效果应该不同,方差也应该不同。这就是抽样的本质。你所拥有的只是不同的样本不同。没有办法知道哪个方差估计更接近真实值,甚至无法根据您提供的信息猜测它,并且等于样本中的 N。因此,虽然您希望它是较小的,但这可能不正确。平均方差很可能是最好的。
你在这里寻找效果的一般策略可能最终会结出果实。您可以将所有主题组合到一个实验中,再运行几个,在这里或那里删除一个异常值,寻找各种分析技术,瞧,一个显着的效果。也许你不会做所有这些,但我试图指出你的想法是错误的。使用您拥有的数据来确定事情的真相,而不是显示效果。
要记住的重要一点是,关于任何统计测试的一个未说明的假设是,您执行它是因为您想知道测试的答案,而不是因为您以前做过其他测试并且未能找到您想要的结果喜欢找。所以现在,因为您已经完成了测试,所以 I 类错误的发生率不再是您设置的 alpha。无论是否存在效果,您都在增加发现效果的可能性。
也就是说,你可以做一些不是测试的事情。您可以通过大型分析(只需组合所有数据)构建效果的置信区间,并将其报告为比任一实验单独进行的效果的更高质量估计。您将不得不承认您所做的是事后的,并描述您已经做过的测试。但这可能是报告您迄今为止所做工作的最佳方式。