考虑弹性网络回归，glmnet损失函数我有一个带有n\ll p的数据集 （分别为 44 和 3000），并且我使用重复的 11 折交叉验证来选择最佳正则化参数alpha和lambda。通常我会使用平方误差作为测试集的性能指标，例如这个 R-squared-like 指标：L_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2}，

$$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big).$$ $n\ll p$$\alpha$$\lambda$ $$L_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2},$$ 但这次我也尝试使用相关度量（请注意，对于非正则化 OLS 回归，最小化平方误差损失等同于最大化相关性）： $$L_\text{test}=\operatorname{corr}(y_\text{test}, X_\text{test}\hat\beta).$$

很明显，这两个性能指标并不完全等价，但奇怪的是，它们非常不同意：

特别注意在小 alpha 处发生的情况，例如$\alpha=.2$（绿线）：当测试集$R^2$与其最大值相比大幅下降时，实现了最大测试集相关性。一般来说，对于任何给定的$\alpha$，相关性似乎在大于平方误差的$\lambda$

为什么会发生以及如何处理？应该首选哪个标准？有人遇到过这种效果吗？