我即将对一种刺激的优点进行一项研究，与另一种刺激相比，采用受试者内设计。我有一个排列方案，旨在减少研究某些部分的顺序效应（任务类型顺序、刺激顺序、任务集顺序）。置换方案规定样本大小可以被 8 整除。
要确定样本量，我必须进行大胆的猜测（这是我所在领域的一个很好的传统），或者计算我想要的能力的样本量。现在的问题是，我一点也不知道我将要观察到多大的效应量（这也是我所在领域的一个很好的传统）。这意味着功率计算有点困难。另一方面，进行疯狂的猜测也可能很糟糕，因为我要么得出的样本量太小，要么向我的参与者支付太多钱，并在实验室里花费了太多时间。
是否可以预先声明我以 8 人为一组添加参与者，直到我离开两个 p 值的走廊？例如 0,05 < p < 0,30？或者，你会建议我如何继续？
首先，直接回答您的问题：不，在获得显着的 p 值之前，您不能继续前进。您提出的设计具有 5% 以上的 I 类错误率。然而，基本的想法是正确的，除了你必须调整截止值。事实上，正如@cardinal 在评论中提到的那样，您的问题有一个完整的研究领域：这些被称为顺序或组顺序，或更一般地说，自适应设计（它们不是同一件事，但一直以来你的想法的线条）。
以下是展示一些基本思想的参考：C. Mehta、P. Gao、DL Bhatt、RA Harrington、S. Skerjanec、JH Ware优化试验设计：顺序、自适应和富集策略循环。2009; 119：597-605
您是否考虑过查看一系列效果大小的功率？例如，我经常将功效计算为曲线，并最终将无数潜在场景烘焙到图表中，然后我可以在其中做出样本大小决定。例如，我可能会计算效果测量所需的样本量，范围从非常接近零到略高于我最疯狂的，这将通过同行评审的梦想。
我可能还会绘制其他场景，这取决于我对数据的了解程度。例如，下面是一个计算功效的图，而不是样本量，但与它有类似的概念。我对数据知之甚少，因此我假设生存分析的事件率为 10%，然后在多种条件下计算研究的功效（样本量是固定的）：
在这种情况下，甚至可以改变事件的数量，这会给您留下多个情节或“Power Surface”。这似乎是一种更快的方法来处理至少应该在哪里寻找样本量，而不是即时修改样本量。或者至少给你一个门槛，你可以停止添加人。例如，如果你的计算告诉你 1000 人会让你看到一些非常小的影响——例如，1.01 或类似的风险比——你知道如果你达到了，你可以停止尝试添加人，因为这不是电源问题，而是“那里什么都没有”的问题。
在进行功率计算时，我通常会问的问题（在我的领域，也有这些传统）往往是“人们关心的影响有多大？”。如果你的方法“显着”好于 0.1% 的改进，有人会在意吗？0.01% 的改进怎么样？