弹性网任意 alpha 选择

机器算法验证 机器学习 交叉验证 特征选择 小样本 弹性网
2022-04-05 13:33:41

鉴于以下约束，我正在尝试解决预测问题：

  1. 我需要一个可解释的模型用于实验验证
  2. 我需要一个执行特征选择的模型，以将 ~20000 个特征减少到 ~100 个
  3. 我需要模型保留相关特征，而不是简单地任意选择其中一个
  4. 我想用少量样本进行建模（最坏的情况约为 50 个样本）

Lasso 执行特征选择，但弹性网络允许添加 Ridge 回归项来选择相关变量，而不是任意选择一个。所以我相信这是这个案例的最佳模型。

我会在交叉验证中使用交叉验证来选择 alpha 来选择 lambda。但是约束 4（样本数量少）是双重交叉验证的瓶颈。这导致我想任意选择 alpha = 0.5 而不是优化最佳值。

这有意义吗？有道理吗？或者换句话说，当这部作品即将出版时，它会被批评为一种武断的选择吗？如果是这样，我有什么选择？

1个回答

此处类似问题的答案建议遵循glmnet 小插图（假设您使用的是 R）：

foldid=sample(1:10,size=length(y),replace=TRUE)
cv1=cv.glmnet(x,y,foldid=foldid,alpha=1)
cv.5=cv.glmnet(x,y,foldid=foldid,alpha=.5)
cv0=cv.glmnet(x,y,foldid=foldid,alpha=0)

保持的交叉验证来foldid评估值的网格。αλ

其它你可能感兴趣的问题
上一篇深度学习中是否需要特征转换（power、log、Box-Cox）？ 下一篇随机变量是否遵循与普通数相同的代数规则？