我应用了一些数据来找到在 R 中使用岭回归的回归模型的最佳变量解决方案。我使用过lm.ridgeand glmnet(when alpha=0)，但结果非常不同，尤其是当lambda=0. 它假设两个参数估计器具有相同的值。那么，这里有什么问题呢？最好的祝福
使用 lm.ridge 和 glmnet 的岭回归结果不同
机器算法验证
r
回归
岭回归
网络
2022-03-13 18:50:17
1个回答
glmnet 标准化 y 变量并使用均方误差而不是误差平方和。因此，您需要进行适当的调整以匹配它们的输出。
library(ElemStatLearn)
library(glmnet)
library(MASS)
dof2lambda <- function(d, dof) {
obj <- function(lam, dof) (dof - sum(d ^ 2 / (d ^ 2 + lam))) ^ 2
sapply(dof, function(x) optimize(obj, c(0, 1e4), x)$minimum)
}
lambda2dof <- function(d, lam) {
obj <- function(dof, lam) (dof - sum(d ^ 2 / (d ^ 2 + lam))) ^ 2
sapply(lam, function(x) optimize(obj, c(0, length(d)), x)$minimum)
}
dat <- prostate
train <- subset(dat, train, select = -train)
test <- subset(dat, !train, select = -train)
train.x <- as.matrix(scale(subset(train, select = -lpsa)))
train.y <- as.matrix(scale(train$lpsa))
d <- svd(train.x)$d
dof <- seq(1, 8, 0.1)
lam <- dof2lambda(d, dof)
ridge1 <- lm.ridge(train.y ~ train.x, lambda = lam)
ridge2 <- glmnet(train.x, train.y, alpha = 0, lambda = lam / nrow(train.x))
matplot(dof, t(ridge1$coef), type = 'l')
matplot(lambda2dof(d, ridge2$lambda * nrow(train.x)), t(ridge2$beta), type = 'l')
其它你可能感兴趣的问题