我有一个二元分类问题，其中类在 25%-75% 的分布中略有不平衡。经过一些特征工程后，我总共有大约 35 个特征，而我拥有的特征大多是连续变量。我尝试拟合 Logistic 模型、RF 模型和 XGB 模型。他们似乎都给了我同样的表现。我的理解是，对于这类问题，XGB 模型通常比 Logistic 模型好一点。但是，在我的情况下，即使在对其进行了很多调整之后，提升模型也没有比逻辑模型有所改进。我想知道为什么会这样？
分类 XGBoost 与逻辑回归
机器算法验证
机器学习
物流
分类
助推
2022-03-05 12:13:17
1个回答
我们没有理由期望特定类型的模型 在另一种模型的性能方面必须更好在每个可能的用例中。这延伸到这里观察到的东西；虽然确实 XGBoost 模型往往是成功的并且通常提供有竞争力的结果，但它们并不能保证在每种情况下都优于逻辑回归模型。
梯度提升机器（XGBoost 属于通用方法家族）很棒，但并不完美；例如，与逻辑回归模型相比，通常梯度提升方法的概率校准较差（有关详细信息，请参阅 Niculescu-Mizi & Caruana (2005)从提升中获取校准概率）。更一般地说，某些模型本质上对数据的要求更高，因此可用的数据集可能不够表达；范德普洛格等人。(2014)现代建模技术需要大量数据：用于预测二分端点的模拟研究对此进行了非常好的研究。
最后，我们应该通过使用重采样方法（例如 100 次 5 倍交叉验证）来严格评估算法的性能，以对算法性能的可变性进行一些测量。也许在一个特定的保留集上，两种算法的性能非常相似，但它们的估计值的可变性却大不相同。这对我们将来何时部署我们的模型或使用它来得出关于未来性能的结论有严重的影响。