首先，我是套索回归的新手，如果这感觉很愚蠢，我很抱歉。
我正在尝试建立一个回归模型，并想使用套索回归进行特征选择，因为我有很多特征可以开始。
我首先标准化所有特征并绘制每个特征的权重，因为我改变了我的正则化强度以查看哪些是最重要的。我还在保持集上绘制了 RMSE 以找到一个 U 形图，即当我增加正则化强度时，我的 RMSE 会降低，然后在某个点之后，它开始增加。我不能。我的 RMSE 图没有减少。
然后，我决定加入一个随机特征，看看模型的表现如何，并将我的特征与随机特征进行比较。我的期望是再次看到 U 形。但是，情况并非如此，因为我再次获得了另一个非递减的 RMSE 图，我将其粘贴在下面。看起来我的两个特征，feat1 和 feat3 和我的随机特征一样好。
所以这是我的问题。
随着正则化强度的增加，RMSE 继续增加的原因（) 可以通过查看当您增加模型的正则化时发生的事情背后的直觉来解释。
为什么我的 RMSE 会随着我的正则化强度的增加而不断增加？
当你没有罚款时（即) 您的模型 (RMSE) 的误差显着膨胀。当你惩罚模型时，这个错误开始下降。在建模的某个时刻，通过增加太多了，你给模型增加了太多的偏见。此时，偏差将变得太大，您的模型将开始欠拟合数据。这将导致 RMSE 增加。
对于您上面的模型，这似乎发生在和.
Lasso Regression 可以用作特征选择的一种形式，因为它将系数的一些值缩小到零。如果你增加重要的是，许多功能将缩小为零。
feat1 和 feat3 的系数与随机特征同时被推到 0 是否意味着它们不好，我应该将它们从模型中删除？（他们同时打到 0 感觉很奇怪。我原以为会有一些不同。）
要决定是否应该删除这些功能中的任何一个，您应该考虑一些事情。您的特征之间存在的共线性程度是多少。您可以轻松检查这一点，因为看起来您的功能很少。此外，重要的是要考虑在正则化之前拥有的特征数量。如果您的数量很少，也许您不想大量丢弃它们。
最重要的是，您应该检查与每次增加相关的 RMSE 误差的变化。并选择您的最小化RMSE。如果某些特征基于最优选择被推到零那么也许他们应该被删除。它们向零移动的速率（两者同时）并不一定表明它们应该被删除，只是它们可能是要删除的候选特征。