Lasso 如何随设计矩阵大小缩放?
机器算法验证
优化
套索
正则化
时间复杂度
2022-03-12 23:15:18
1个回答
参考文献的答案,
- 最小角度回归
- 用于坐标下降
, 是正确的。
不同之处在于
LARS方程以封闭形式编写并找到精确解
(这样做会跨越可能的 λ 的整个路径,而计算复杂度的缩放比例与找到普通最小二乘问题的解相同,后者也缩放为)
尽管
坐标下降是近似解的迭代方案。所引用的步骤(其计算成本规模为) 是“仅”一个近似步骤,收敛/“下降”更接近 LASSO 问题的最小值。
LARS 使用(准确)找到解决方案的步骤(第 k 步缩放的复杂度为, 第一项寻找非活动集中的内积和求解新角度的第二项活动变量)。使用坐标下降,没有人真正知道收敛速度和“充分”收敛所需/预期的步骤数(或者至少没有很好地描述)。
另一方面成本对于高维会增加很多(虽然没有充分的理由期望坐标下降的收敛速度类似地缩放,=线性,如果增加)。因此,直观地坐标下降将在一定限度以上表现更好. 案例研究也证明了这一点(另请参阅参考资料,该参考资料表明 glmnet 在以下情况下的性能大多优于 LARS, 而对于算法执行类似)。
缩放 LARS 是一个涉及计算复杂性的问题。缩放坐标下降是一个涉及计算复杂性和收敛性的问题。
其它你可能感兴趣的问题