最后一件事，我在 X_train 上的结果是否表明我的特征信息量足以学习目标？还是 R² 训练分数有偏差？

训练数据上的高分拟合并不一定表明您的特征信息量足以以一般方式学习目标。只有您的交叉验证分数可以这样做。

注意：在这段代码中，我对 CV 使用了 10 折。用过 3 折给了我一个更好的简历结果，如果有人也能解释一下，那就太好了。

我不认为会有很大的差异，所以这取决于它们有多好，但请记住，您是在为每个折叠随机选择一个数据子集。当您运行 3 次时，该模型巧合地能够更好地从选定的训练集中学习以预测验证集，这似乎是合理的。一般来说，你使用的折叠越多，你对分数的可靠性就越有信心。

我的问题：这是否被认为是一个压倒性的过度拟合问题？还是温和？我应该做更多的特征工程还是更多地调整超参数？（当前超参数使用 GridSearchCV ）

我不是专业人士，但我认为这严重过度拟合。首先，我会返回到超参数调整以尝试使它们保持一致。此时我还将执行 RandomizedSearchCV 的强制插件：http ://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf

编辑：

由于您已要求提供更多详细信息：

1) 对训练数据的高分是否表明这些特征的信息量足以学习目标？

考虑以下示例：

import numpy as np
from xgboost import XGBRegressor

x = np.random.rand(5000, 12)
y = np.random.randint(0, 200, 5000)

rfr = XGBRegressor(colsample_bytree=0.6,gamma=0.3,learning_rate=0.1,max_depth=8,min_child_weight=3,subsample=0.9,n_estimators=1000,eval_metric='rmse')
rfr.fit(x, y)
rfr.score(x, y)

输出[26]：0.999918392694166

完全随机的目标针对完全随机的输入进行训练，并且仍然几乎完美地得分。那是一个完全没用的模型；根据您的训练数据进行验证并不能让您确定您的特征信息量是否足以让您根据模型未见过的数据来预测目标。只有对看不见的数据进行交叉验证才能做到这一点。

2) 用了 3 折给了我更好的简历结果，如果有人也能解释一下，那就太好了。

RNG诸神对你微笑。再次考虑一个例子：

from xgboost import XGBClassifier, XGBRegressor
import pandas as pd
from sklearn.model_selection import KFold

df = pd.read_csv(r'https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv', index_col=None)

x = df.drop('species', axis=1)
y = df.species

xgb = XGBClassifier(max_depth=3)

kf = KFold(n_splits=10, shuffle=True)

for train_idx, test_idx in kf.split(x):
    xgb.fit(x.iloc[train_idx], y.iloc[train_idx])
    print(xgb.score(x.iloc[test_idx], y.iloc[test_idx]))

输出[17]： 0.9333333333333333
0.9333333333333333
0.9333333333333333
1.0
0.8666666666666667
1.0
1.0
0.9333333333333333
0.866666.666666

该代码将数据拆分 10 次，然后在每个选定切片上对模型进行训练和评分。如您所见，得分最高和最差的切片之间存在 13.4% 的差异。

您的 3-Fold 运行巧合地给了您 3 个“好”的弃牌。您拥有的折叠次数越多，您的交叉验证就越能代表真实结果。

3）这是否被认为是一个压倒性的过度拟合问题？还是温和？我应该做更多的特征工程还是更多地调整超参数？（当前超参数使用 GridSearchCV ）

好吧，它是否压倒性是一个见仁见智的问题。然而，在我看来，对 300% 的验证集的损失确实是非常严重的过度拟合，但是如果您的验证RMSE 仍在您愿意接受的误差范围内，那么我想您可以继续使用无论如何。这真的是你的电话。

为了减少过度拟合，您需要更好地调整超参数。减少max_depth和增加min_samples_split是我通常使用树木的方法。如果您的修改后的模型（没有过度拟合或至少显着减少过度拟合）的交叉验证分数对您来说太低，您应该在此时返回特征工程。通过绘制调整超参数的效果，我们可以很容易地突出超参数对过拟合的影响：

from xgboost import XGBClassifier, XGBRegressor
import pandas as pd
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from sklearn.preprocessing import OneHotEncoder

df = pd.read_csv(r'https://raw.githubusercontent.com/mwaskom/seaborn-data/master/diamonds.csv', index_col=None)

ohe = OneHotEncoder(sparse=False)
x = pd.DataFrame(ohe.fit_transform(df[['cut', 'color', 'clarity']]))

df.drop(['cut', 'color', 'clarity'], axis=1, inplace=True)

df = df.merge(x, left_index=True, right_index=True)

x = df.drop('price', axis=1)
y = df.price

cv = {}
for i in range(20):
    xgb=XGBRegressor(max_depth=i+1)
    x_train, x_test, y_train,  y_test = train_test_split(x, y)
    xgb.fit(x_train, y_train)
    cv[i+1] = (xgb.score(x_train, y_train), xgb.score(x_test, y_test))

train = []
test = []
for i in cv.keys():
    train.append(cv[i][0])
    test.append(cv[i][1])

fig = plt.figure()
plt.plot(train)
plt.plot(test)
plt.legend(['train', 'test'])
plt.xlabel('max_depth')
plt.xlim(0, 20)
plt.ylabel('R^2 Score')
plt.show()

为愚蠢的 x 轴标签道歉：P。我们可以看到max_depth超参数对模型容易过拟合的趋势的影响；任何超过 3-ish 的东西和训练/测试分数开始出现分歧。

希望这些修订对您更有帮助:)