通常在统计假设检验中，您试图拒绝原假设以支持备择假设，因此预防原则表明我们有责任证明原假设可能是错误的，因此我们需要，假阳性率（当它为真时拒绝原假设的概率）低。也可以反过来运行测试，其中实验假设是零假设。在这种情况下，我们有责任证明的假阴性率（当原假设为假时接受原假设的概率）很低。这等于表明该测试具有足够的统计功效。$\alpha$$\beta$

本质上，如果我们无法拒绝原假设，那是因为原假设实际上是正确的，或者可能是因为原假设是错误的，但我们没有足够的数据来确定它是错误的。如果测试具有良好的统计能力，我们可以确信是前者，而不是后者。

警告：我发现常客统计检验在概念上相当复杂，所以我很可能写了一些会让纯粹主义者畏缩的东西，但希望关于 t 检验的统计能力需要的观点会有所帮助。

除非您拥有无限的数据/信息，否则您无法证明绝对没有变化。但是，您可以表明变化量是有限的。最好的方法可能是 Bland-Altman 方法，有关更多详细信息，请参阅此页面上的链接。传统的 Bland-Altman 方法处理对同一主题的 2 种不同测量，但对于您描述的其他配对数据案例同样适用。

当您说您进行了更改时，我假设您的意思是您所做的更改可能会影响您正在衡量的结果。在这种情况下，您应该考虑尝试测量治疗效果，这可以通过差异中的差异来恢复。

您是正确的，您不能简单地比较变化前后的均值差异，因为未观察到的变量可能会随着时间的推移影响您的结果变量。为了控制这些时间效应，您可能希望继续测量未进行治疗的一组（对照组），然后测量接受变化的治疗组。如果两组在统计上相似，那么我们可以将治疗期后的对照组结果视为反事实结果的代表。

然而，说了这么多，你真的不能证明“没有效果”，而只是不能拒绝没有效果。

要显示 2 个组是等价的，您可以运行等价测试，将置信限与预定义的等价边界进行比较。该检验类似于 t 检验，但假设相反。不是原假设没有差异，备择假设是在测试中存在显着差异，而是等价分析中的原假设是样本不等价，备择假设是样本等价。因此，等价测试将举证责任放在证明等价上。如果置信下限和置信上限都在等价边界内，则证明等价，如果置信边界之一在等价限外，则不能得出等价结论。