非随机样本中的随机化仍然可以显示出随机变化无法合理解释的效果。

例如，假设我们有一个人口，其中包含两个大小大致相等的未识别子组（具有一些不同的特征*），但您的样本是非随机的，给出了 80/20 的拆分。让我们想象两个大小相等的治疗组。随机化（至少有合适的样本量）将倾向于在每组中给出接近 80/20 的分割，因此治疗效果是由于治疗，而不是异质组对治疗的分配不均。

* 导致不同的基线均值，比如说

当您想将推断扩展到某些目标人群而不是您的样本所代表的人群（自我选择者）时，就会出现问题；这需要您可能没有证据的假设/论据（例如假设说治疗差异对于人群的所有子集都是一致的）。

对于类似的情况，想象一下仅在男性身上测试一种高血压药物，与标准治疗和安慰剂相比。假设男性被适当地随机分配到治疗组。治疗效果将是真实的，因为它确实描述了男性的效果。当试图将这种推论扩展到女性时，困难就会出现。

因此，如果他们在招聘之外进行得当并随机化，观察到的显着效果将是看起来的那样，但它将适用于您实际采样的内容，不一定是您想要的目标 - 跨越两者之间的差距可能需要仔细论证；这种论点往往不存在。

当我还是个学生的时候，对心理学学生进行心理学实验是很常见的，他们被期望自愿参加一定小时的此类实验（可能仍然是这种情况，但我没有经常与心理学家联系谁再做实验）。通过随机化治疗，推论可能是有效的（取决于所做的事情），但适用于自选心理学本科生的当地人群（因为他们通常选择报名参加哪些实验），他们与更广泛人群的随机样本。

因为众所周知随机化解决了自我选择问题，所以我想知道非随机样本的随机化是否真的改变了任何东西。

简而言之，没有。可以这样想：你有一个装有 100 个黑球和 100 个白球的瓮。您从中取样 90 个黑球和 10 个白球。从这个子样本中随机抽样将不允许您对骨灰盒本身进行无偏见的推断。

此外，我们应该如何处理所有这些基于大量自选样本的心理实验？

人们同意非随机抽样是一个问题。但是有多少问题也是你感兴趣的机制的“理论”的问题。如果你的假设涉及一个对所有人类来说应该基本相同的机制（即当浸入冰冷时会感到冰冷水），那么非随机选择就没有那么重要了。不幸的是，这通常不是我们感兴趣的事情。

有一种技术旨在处理您提到的问题，称为 Bootstrapping。Bootstrapping 是一种方法，您可以通过从实际样本池中抽取并替换来生成新的合成样本。 然后，您对每个合成样本池进行统计，并比较集合之间的统计数据。

这有一个强大的优势，允许您在统计数据中使用大量其他工具，因为这些合成样本来自已知分布。然后，您可以确定您的估算员在处理这些综合案例方面的表现如何。如果您发现所有合成样本的估计量都很好地收敛到相同的结果，则自举假设允许您推断，当应用于完整样本时，您的估计量可以为未知总体提供良好的估计。另一方面，如果您发现您的估计器从合成样本集到合成样本集产生了非常不同的结果，您应该推断您的估计器在应用于完整样本时可能无法为未知总体提供很好的估计。

这种引导方法可用于验证非随机样本的随机化是否足够。当然，它无法证明这一点，但它已被用作通过仔细检查您的随机抽样是否足够随机的假设来提高可信度的工具。