我使用随机森林来训练我的数据（我的数据在目标类中存在不平衡，即稀有 1 和丰富的 0）。我面临 3 个关于估计器稳定性及其预测能力的问题。我认为这些问题在许多机器学习算法中可能很常见。
ROC_AUC_Score当我重新采样训练集（其余的是测试集）时，我发现变化很大。在更改训练集时，它可以在到ROC_AUC_Score但效果比上面的第一种情况要弱。对于2、3，我认为通过记录每次迭代和参数调优，可以得到最好的参数设置和拟合结果。（也许可以更有效地做到这一点，请指教）
还请指教如何处理第一个问题以使配件令人信服和可靠？交叉验证？
非常感谢
您绝对应该使用嵌套交叉验证来进行模型选择和性能估计。我还发现，当我有一个高度不平衡的数据集；有关于这个主题的研究表明，PR 曲线的 AUC 比 ROC 曲线的信息量更大。您可以average_precision_score()在 scikit-learn 中使用 PR AUC 分数。沿着重新采样数据的思路，你可以尝试像 EasyEnsenble 和 BalanceCascade 这样的方法；搜索标题为“Exploratory Undersampling for Class-Imbalance Learning”和“Learning from Imbalanced Data”的论文以获取更多信息。
我认为，这是一个经典的类不平衡问题。如果可能，收集更多数据量稀疏的类的数据，或者如果数据量足够，则省略一些数据量大的类的数据。
我不知道不平衡的比例是多少，用哪个包的RF或者你自己写的那个你体验过，但我觉得你可以通过两种方式再试一下，解决稳定性的问题：
希望这对你有帮助，祝你好运！