如果有人感兴趣，我会回答自己并让你知道我的发现。

首先是偏见：我花时间收集所有最近的数据并将其格式化等等。我早就应该这样做了。图片如下：

你看 2015 年底和 4 月 16 日的数据。价格水平完全不同。在 2015 年数据上训练的模型无法获得这种变化。

第二：xgboost的适配。我真的很喜欢下面的设置。训练和测试错误现在非常接近并且仍然很好：

xgb_grid_1 <- expand.grid(
    nrounds = c(12000),
    eta = c(0.01),
    max_depth = c(3),
    gamma = 1,
    colsample_bytree = c(0.7),
    min_child_weight = c(5) 
  )

  xgb_train_1 <- train(
    x = training,y = model.data$Price[inTrain],
    trControl = ctrl,
    tuneGrid = xgb_grid_1,
    method="xgbTree" 
   ,subsample = 0.8
    )

因此，我使用了很多树，并且所有树的深度最多为 3 个（如此处推荐的）。这样做计算很快（树的大小随着每次拆分增长 2 倍）并且似乎减少了过度拟合。

我的总结：使用叶子少但叶子很多的树，并寻找最近的数据。对于比赛来说，这对我来说是不幸的......