在双盲研究中，何时认为与对照组的偏差具有统计学意义？这与样本数量有关吗？
我意识到每个实验都是不同的，统计显着性应该取决于测量偏差和样本组的大小，但我希望有一个直观的经验法则可以将事件“标记”为有趣。
我在工程方面有轻微的统计背景，但绝不是统计专家。非常感谢一个工作示例来帮助我理解并将其应用于日常事务。
更新示例：好的，这是我的意思的（不是那么简单）思想实验。假设我想通过比较一段时间内的死亡率来测量村庄供水中添加剂的毒性。考虑到该村几年的人口、出生率和死亡率以及将添加剂引入供水的日期（不考虑数量），死亡率的上升何时会变得有趣？
直观地说，如果死亡率在 10 年内保持在 0.95% 和 1.25% 之间，然后突然飙升至 2.00%，那么如果当年添加了添加剂（假设短期毒性作用），这肯定会是一个有趣的事件。显然，上升可能还有其他解释，但让我们关注统计显着性。现在，如果它上升到 1.40% 呢？这有统计学意义吗？你在哪里画线？
我开始觉得我需要“选择”一个关键区域，这感觉不那么权威。高斯分布可以指导我吗？我还需要哪些其他信息来确定统计显着性？
这个问题进入了统计思维的核心，它认识到（a）“每个实验都是不同的”，这意味着没有单一的“食谱”配方足以评估所有情况下的实验结果，以及（b）“重要性应该取决于偏差在测量中，”指出概率论在偏差建模中的重要性。
不幸的是，（a）表明通用的“简单公式”是不可能的。但是，有些事情可以笼统地说。这些包括
测量值的偏差可部分归因于由受试者或实验的属性确定的可预测现象。例如，人们的体重（平均而言）部分取决于他们的性别。不可预测或不可确定的偏差通常被建模为随机变量。您如何分析这些确定性和随机分量的偏差是一个概率模型。概率模型可以像教科书对骰子和硬币的描述一样简单，但对于现实情况，它们可能相当复杂。
统计“显着性”衡量的机会，当（假设）治疗没有效果时，治疗组和对照组之间的一些差异测量会导致我们推断组确实不同。这个描述很长，因为它的准备工作涉及很多内容：测量结果，以某种方式表达组之间的差异（测试统计量），以及根据该统计量选择推理程序。这些事情中的每一件事都在实验者或观察者的控制之下，每一件事都很重要。
一个简单的教科书示例涉及一个受控实验，其中每个主题只有两种可能的结果，例如“死亡”和“生命”。通过良好的实验设计——双盲、受试者随机化、仔细测量等——我们可以查看实验结果 ，即从盒子中随机抽取票，其中每张票都标有两种结果之一。这就是概率模型。检验统计量通常是两组之间的比例差异（例如，他们的死亡率之间的差异）。统计理论，以Neyman-Pearson 引理的形式, 告诉我们根据这个差异是否超过某个预定阈值来确定实验结果。概率论使我们能够分析这种盒装票模型以提出适当的阈值（测试的关键区域）。该理论准确地显示了该阈值如何取决于对照组和治疗组的大小。
要走得更远，您需要学习一些基本的概率论，并在一些示例性案例中看到应用。这将使您习惯于对日常事物进行“统计思考”的习惯。两个很好的资源是Smith & Gonick 的卡通统计指南和经典的 Freedman等人。教科书《统计学》，在伯克利使用了几代人。（该链接指向旧版本，您可以在线查看并购买几乎没有使用过的版本。）