从你的例子我明白$y_{pred}$是随机森林对训练集的预测。如果是这种情况，$y_{pred}$会给你训练性能，而 oob 值会给你验证性能。因为您过度拟合，所以您的训练预测接近真实值，而您的验证/oob 预测则不然。

装袋时，平均每个袋子包含 2/3 的样本，剩下的 1/3 在 oob 中。当您使用随机森林对训练集进行预测时，对于每个样本，将有大约 17 000 棵（~2/3*25000）棵树已经看到了该数据点，因为它在他们的包中，并且结果在术语上并不可靠泛化的。换句话说，当您在训练集上进行预测时，2/3 的树将为您提供训练预测，而 1/3 (oob) 将为您提供验证预测，因此总体而言就像获得训练性能一样。

回答你的最后四个问题：

• sklearn 中的随机森林获取每棵树的每个类的概率，然后在所有包中平均它们以获得最终概率。这通常称为“软投票”，“硬投票”是您描述的方法。 见 1.11.2.1。随机森林

• 我没有在文档中看到它明确说明，但我希望用于进行一般预测（“软投票”）的相同方法将用于获取 oob 值。

• 是的，交叉验证和 oob 分数应该非常相似，因为两者都使用分类器尚未看到的数据进行预测。

• 大多数 sklearn 分类器都有一个名为 class_weight 的超参数，当你有不平衡的数据时可以使用它，但默认情况下，在随机森林中，每个样本的权重相同。

来自文档

RandomForestClassifier 使用 bootstrap 聚合进行训练，其中每棵新树都从训练观察的 bootstrap 样本中拟合 z_i = (x_i, y_i)。误差是使用不包含 在它们各自的引导样本中的树的预测计算out-of-bag (OOB)的每个计算的平均误差。这允许 RandomForestClassifier 在训练时进行拟合和验证。所以在这种情况下，我们实际上不需要验证数据集或 k-foldz_iz_i

（答案并不严格按照您的问题排序）

直观的理解（如果不阅读下面的文档，文档非常清楚..）

假设我们的训练数据集用 T 表示，假设数据集有 M 个特征（或属性或变量）。

T = {(X1,y1), (X2,y2), ... (Xn, yn)} and Xi is input vector {xi1, xi2, ... xiM} and yi is the label (or output or class).

射频摘要：

随机森林算法是一种主要基于两种方法的分类器 - 装袋和随机子空间方法。 

假设我们决定S在我们的森林中拥有许多树，那么我们首先创建 S 个“与原始大小相同”的数据集，这些数据集是T通过替换数据的随机重采样创建的（n每个数据集的时间）。这将产生{T1, T2, ... TS}数据集。这些中的每一个都称为引导数据集。由于“替换”，每个数据集Ti都可能有重复的数据记录，并且 Ti 可能会丢失原始数据集中的多个数据记录。这称为装袋。 

现在，RF创建S树并使用可能特征中m (=sqrt(M) or =floor(lnM+1))的随机子M特征来创建任何树。这就是所谓的random subspace method. 

因此，为每个Ti引导数据集创建一棵树Ki。如果你想对一些输入数据进行分类D = {x1, x2, ..., xM}，你让它通过每棵树并产生S输出（每棵树一个），这可以表示为Y = {y1, y2, ..., ys}.最终预测是对该集合的多数投票。 

袋外错误：

创建分类器后，对于原始训练集中(S trees)的每一个，即选择所有不包括的分类器。注意，这个子集是一组自举数据集，不包含原始数据集中的特定记录。这组被称为袋外示例。有 n 个这样的子集（原始数据集 T 中的每个数据记录一个）。(Xi,yi)TTk(Xi,yi)OOB classifier is the aggregation of votes ONLY over Tk such that it does not contain (xi,yi). 

泛化误差的袋外估计是训练集上袋外分类器的错误率（与已知的 yi 进行比较）。

Also your n_estimators is Quite High which will lead you to Overffiting

当我们有严重的不平衡时， RF也不是一个好的选择，因为随机森林是建立在决策树上的，而决策树对类不平衡很敏感。因此，每棵树都会因类别不平衡而偏向相同的方向和幅度（平均而言）。

只是一个旁注，

Bagging 和 Boosting可能听起来很相似，但并不相似。Xgboost 可以处理不平衡，而 RF 则不能。

希望能帮助到你..