我在两种条件下对一组用户进行了实验，测量用户完成实验所花费的时间。我使用了交叉设计，一半的用户从第一个条件开始到第二个条件结束，而另一半的用户则相反。
我分析了几个不同的方差分析中提供的数据，并为我的假设找到了不同的 p 值。有些低于 0.05，有些低于 0.01，有些高于 0.05。
我是否需要修复一个统计显着性的 alpha 水平以用于我的所有分析，或者我是否可以报告类似“假设 A 在 alpha 水平 0.05 时被证明是正确的，而假设 B 在 alpha 水平 0.01 时是正确的”（因此，可能是更强的证据）'？
我不知道我在这里是否足够清楚。让我知道，如果需要，我会添加详细信息。
谢谢。
嘿，但是您似乎已经看过结果了！
通常，错误拒绝 null 的风险（I 类错误，或) 应在开始分析之前确定。功率也可以固定为给定值（例如，0.80）。至少，这是“Neyman-Pearson”方法。例如，您可能会考虑 5% 的风险（) 对于您的所有假设，如果测试不是独立的，您应该考虑使用您喜欢的任何单步或递减方法来校正多重比较。
在报告您的结果时，您应该指出您考虑的类型 I（和 II，如果适用）错误（在查看结果之前！），是否已纠正或未进行多重比较，并将您的 p 值设为 p<.001 或 p=例如.0047。
最后，我想说的是，您的测试允许您拒绝给定的零假设，而不是证明假设 A 或 B。此外，您所描述的 0.001 比 0.05 更能表明与零的有趣偏差更符合统计假设检验的 Fisher 方法。
如果您在开始实验之前没有特定的假设，我的建议是谨慎使用 p 值。调整多重和“模糊指定”假设的 p 值（例如，不指定替代假设）是困难的。
我想“纯粹主义者”会告诉您，这应该在查看数据之前解决（我的一位讲师称不要做这种智力上的不诚实），但我只会说这适用于“确认性分析”，其中定义明确模型（或模型集）在看到数据之前就已经设置好了。
如果分析更“探索性”，那么我就不会那么担心精确水平，而是尝试找到关系并尝试解释它们可能存在的原因（即使用分析来构建模型）。试探性假设检验可能作为初始指南有用，但您需要获取更多数据来确认您的假设。
在不运行另一个实验的情况下“获取更多数据”的一种有用方法是“锁定”部分数据并使用其余部分来“探索”，然后一旦你对一个可能有用的模型有信心，就可以用“测试”你的理论您“锁定”的数据。注意：你可以做一次“测试”！