统计学习或机器学习的理论中没有要求样本是独立同分布的

当样本是 iid 时，可以将给定某个模型的样本的联合概率写为乘积，即使得对数似然为个体对数似然。这简化了计算，但绝不是要求。$P(\{x\}) = \Pi_{i} P_i(x_i)$

在您的情况下，您可以例如使用一些双变量分布 ,，然后从似然。$x_i,y_i$$z_i=(x_i,y_i)^T$$z_i \sim \mathcal{N}(\mu,\Sigma)$$\Sigma$$P(\{z\}) = \Pi_{i} P(z_i | \mu, \Sigma)$

确实，许多开箱即用的算法实现都隐含地假设样本之间的独立性，因此您正确地确定将它们按原样应用于数据时会遇到问题。您将不得不修改算法或找到更适合您的情况的算法。

马尔可夫过程不仅是使用统计模型分析纵向数据的非常通用的方法，它们还适用于机器学习。它们之所以起作用，是因为通过以先前状态为条件的转换概率建模，记录是条件独立的，并且可以被视为来自不同的独立主体。可以使用离散或连续时间过程，离散更简单。主要工作来自后估计处理，将转换概率转换为无条件（在先前状态）状态占用概率，也就是当前状态概率。请参阅此文档和此文档中的其他文档。

这里已经有一些很好的答案，但我认为值得注意的是，这个问题的答案可能会根据iid假设的违反情况而发生巨大变化。例如，如果一个单变量数据集不是独立同分布的，而是平稳的，那么许多非常简单的估计过程，例如样本均值，仍然会收敛到适当的极限。

但是，如果因为数据是非平稳的而违反了独立同分布假设，那么生活就会困难得多。请注意，将数据集拆分为训练集、测试集、有时是验证集的非常常见的机器学习传统在存在非平稳性的情况下是无效的。如果这是您面临的困难，那么您最好的选择通常是尝试找到接近静止（或遍历性）的数据转换并使用它来代替。