机器算法验证 - 平均回归系数以建立模型是否存在任何理论问题？ - 吾爱随笔录

我想建立一个回归模型，它是多个 OLS 模型的平均值，每个模型都基于完整数据的一个子集。这背后的想法是基于这篇论文。我创建了 k 个折叠并构建了 k 个 OLS 模型，每个模型都基于没有一个折叠的数据。然后我平均回归系数以获得最终模型。

这让我觉得类似于随机森林回归，其中构建了多个回归树并对其进行平均。但是，平均 OLS 模型的性能似乎比简单地在整个数据上构建一个 OLS 模型更差。我的问题是：为什么平均多个 OLS 模型是错误的或不可取的，有理论上的原因吗？我们可以期望平均多个 OLS 模型来减少过拟合吗？下面是一个 R 示例。

#Load and prepare data
library(MASS)
data(Boston)
trn <- Boston[1:400,]
tst <- Boston[401:nrow(Boston),]

#Create function to build k averaging OLS model
lmave <- function(formula, data, k, ...){
  lmall <- lm(formula, data, ...)
  folds <- cut(seq(1, nrow(data)), breaks=k, labels=FALSE)
  for(i in 1:k){
    tstIdx <- which(folds==i, arr.ind = TRUE)
    tst <- data[tstIdx, ]
    trn <- data[-tstIdx, ]
    assign(paste0('lm', i), lm(formula, data = trn, ...))
  }

  coefs <- data.frame(lm1=numeric(length(lm1$coefficients)))
  for(i in 1:k){
    coefs[, paste0('lm', i)] <- get(paste0('lm', i))$coefficients
  }
  lmnames <- names(lmall$coefficients)
  lmall$coefficients <- rowMeans(coefs)
  names(lmall$coefficients) <- lmnames
  lmall$fitted.values <- predict(lmall, data)
  target <- trimws(gsub('~.*$', '', formula))
  lmall$residuals <- data[, target] - lmall$fitted.values

  return(lmall)
}

#Build OLS model on all trn data
olsfit <- lm(medv ~ ., data=trn)

#Build model averaging five OLS 
olsavefit <- lmave('medv ~ .', data=trn, k=5)

#Build random forest model
library(randomForest)
set.seed(10)
rffit <- randomForest(medv ~ ., data=trn)

#Get RMSE of predicted fits on tst
library(Metrics)
rmse(tst$medv, predict(olsfit, tst))
[1] 6.155792
rmse(tst$medv, predict(olsavefit, tst))
[1] 7.661 ##Performs worse than olsfit and rffit
rmse(tst$medv, predict(rffit, tst))
[1] 4.259403