假设您正在调查心率是否可以预测一个人是否吸烟。您连续测量 30x1m 次 bpm，并询问此人是否吸烟以构建您的训练模型数据集。

什么有助于更好的预测器？一个吸烟者的 30 次观察，还是 30 名吸烟者的 1 次观察？鉴于一个人的心率在 30m 内不会发生太大变化，显然您宁愿从 30 人中获取 1 个样本，而不是从一个人中获取 30 个样本。一个人的 30 个样品不如 30 人的 1 个样品值钱。

因为一个人的样本不是独立的。

我认为，如果您将非独立样本放入神经网络，那么只要所有训练数据的非独立性相似，它就不会对预测能力产生太大影响。在一种极端情况下，如果所有吸烟者和非吸烟者在 30m 期间的心率相同，那么您所做的就是将输入数据精确地重复 30 次，并且不会有任何改变（除了运行时间会增加 30 倍） ...）。

但是，如果吸烟者的心率是恒定的，而非吸烟者的心率是变化的，那么您可以在模型中添加 30 个每个吸烟者心率的测量值，以及将这些心率与不吸烟相关联的一组随机测量值。您的 NN 很可能会预测具有这些吸烟者心率的任何人都是吸烟者。这显然是错误的——每个吸烟者的 30 次测量值只值一次测量，将它们放入 NN 会错误地训练网络。

我觉得不够安全，无法给出明确的答案，但是当数据被分成任意小部分时，这种情况会出现在音素分类中。在这里，即使它是相同的问题，它也不会引起我所知道的任何问题。

所以我会尝试违反这个假设，看看它是否有效。这种方法经常用于机器学习。例如，当训练数据的行为不像对角协方差高斯等时，有时会使用朴素贝叶斯。