机器算法验证 - Ridge 和 LASSO 给出协方差结构？ - 吾爱随笔录

在阅读了《统计学习要素》（Hastie、Tibshrani 和 Friedman）的第 3 章后，我想知道在给定协方差结构的情况下，是否可以实现这个问题标题中引用的著名收缩方法，即最小化（也许更一般）数量

(\vec{y} - X \vec{β})^{T} V^{- 1} (\vec{y} - X \vec{β}) + λ f (β), (1)

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

而不是通常的

(\vec{y} - X \vec{β}) (\vec{y} - X \vec{β}) + λ f (β) . (2)

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$ 这主要是因为在我的特定应用程序中，我们对

\vec{y}

$\vec{y}$ （有时甚至是可以估计的协方差结构），我很乐意将它们包含在回归中。我是为岭回归做的：至少在我在 Python/C 中实现它时，我发现系数跟踪的路径存在重要差异，这在比较两种情况下的交叉验证曲线时也很明显。

我现在正准备尝试通过最小角回归来实现 LASSO，但为了做到这一点，我必须首先证明它所有的好属性在最小化时仍然有效 $(1)$ 代替 $(2)$ . 到目前为止，我还没有看到任何真正做到这一切的工作，但前段时间我还读到了类似“那些不知道统计数据的人注定要重新发现它”的引文（也许是布拉德·埃夫隆（Brad Efron）？ )，所以这就是为什么我首先在这里问的原因（鉴于我是统计文献的相对新手）：这些模型是否已经在某个地方完成了？它是否以某种方式在 R 中实现？（包括通过最小化来解决和实施山脊 $(1)$ 代替 $(2)$ ，这是在 R) 的 lm.ridge 代码中实现的内容？

提前感谢您的回答！