这取决于学习算法的不同家族。例如，朴素贝叶斯和所有半朴素贝叶斯模型都假设特征是独立的，这在大多数现实世界的问题中是不正确的。后者是朴素贝叶斯学习算法的一个缺点，尽管在自然语言处理等一些问题中，这些模型通常表现良好。大多数机器学习算法不假设这样的事情（特征独立性）。最后，没有一个整体的规则。