简而言之：

假设您正在测试每天喝一杯葡萄酒对心脏病发作风险的影响。通俗地说，统计显着性是指饮酒是否会影响这种风险。实际意义是指这种风险变化是否与现实生活中的问题相关。如果不是这种情况，那么您不必担心每天喝一杯葡萄酒，因为它对您的健康的影响太小，不必担心。

更准确地说，假设您发现，对于给定的显着性水平，饮酒的影响是非零的（例如，p 值低于 0.05）。然后，葡萄酒对心脏病发作风险的影响具有统计学意义。

但是，尽管不是负面的，但这种影响“非常小”。例如，假设每天喝一杯葡萄酒会使心脏病发作的风险增加 0.01%。那么，这样的效果就没有实际意义了。相反，如果这种影响“大”（例如增加 20%），则该影响具有实际意义。（“非常小”和“大”的限定通常根据样本/总体中结果变量的标准差来估计）

在经济学中，后者的术语是“经济意义”。在找到统计上显着的效果后，通常会问这种效果在经济上是否显着。这有时可以通过探索回归变量/控制中的一个标准差变化与因变量/结果变量的分布有多大关系来观察。

这是一个很大的话题，但我建议以下是重点。

实际意义和统计意义之间的关系并没有从相对重要性方面得到很好的描述。用这些术语来思考意味着研究人员已经收集了一些数据，使用这些数据来测试一个没有经过太多思考而选择的假设（也许回归参数不同于零），发现测试指向拒绝假设，并且然后问这个发现是否重要。达到那个位置后，评估实际意义当然是合适的，而不是假设统计意义意味着实际意义。

然而，在科学研究背景下，更好的方法是在研究设计阶段更早地考虑实际意义。然后可以选择一个假设，以便发现它是否正确具有实际意义。在回归参数的情况下$\beta$，例如，这可能导致选择原假设为$H_0: \beta > \delta$, 对于某些值$\delta$被判断为具有实际意义的阈值，而不是简单的$H_0: \beta = 0$. 当然合适的值$\delta$正如 rocinante 所说，这将取决于研究领域以及该领域内的特定问题。一旦选择了假设，就可以考虑数据收集，收集数据后可以检验假设，根据统计显着性评估结果。

关于我想到的具有统计意义的发现的实际重要性（我试图在这里避免显着）的一些要点：

• 随着样本量的增加，小的影响将变得具有统计学意义。它们实际上是否重要不会改变。
  这是看待@Adam Bailey 观点的另一种方式。

• 最重要的是，我看到了第二个层次的实际意义：粗略地说，“统计显着”意味着如果原假设为真，则不太可能观察到这种（或更极端的）差异。这也是仔细制定的空假设的情况，该假设考虑了根据前一点被认为具有实际重要性的效应大小。
  但是，通常这并不是我作为您的读者感兴趣的全部。我想知道的不仅是您的发现是什么，而且我可以在多大程度上依赖您的结论。这更像是您的结果的预测值。为了判断这一点，我需要知道你生成和测试的假设中真实假设的“普遍性”。
  这是一种说法，测试大量或多或少随机生成的假设通常不会有太大帮助，以及为什么进行的测试总数对于您可以从统计数据中得出的实际结论非常重要显着的结果。

样本量越大，统计显着性越有可能。这是因为几乎没有任何实验是在原假设下进行的。永远不能排除小的无关差异。测试的一致性可以使这些不相关的差异显着。实际相关性取决于科学事实，而不是统计收敛性。在应用科学中，如果效应大小不会对专家的判断造成影响，则它们是无关紧要的。

但是这两个概念可以结合在一起：通常可以通过选择不相关效应大小的区间来构建相关性的统计检验。显着相关性$\alpha$水平可以断定，当且仅当$1-\alpha$- 置信区间与此无关区间不相交。这样，如果效果相关，则扩大样本量会增加统计显着性的机会。否则即使是长度的置信区间$0$停留在不相关区间内。