大规模岭回归

机器算法验证 大数据 岭回归
2022-04-03 11:51:45

我正在尝试解决表单问题

minx12||Axb||22+ρ2||xz||F2

其中xb都是高维的,并且bx高得多。解决方案由x=(ATA+ρI)1(ATb+z),但问题如此之大,以至于即使反转ATA+ρI也是不可行的. 但是,由于问题中的结构,我们可以有效地乘以AAT基本上这是大规模线性岭回归。有效实现这种最小化的理想算法是什么?像双共轭梯度这样的东西会起作用吗?

1个回答

我发现 LSQR 是解决此类问题的理想选择——我已经成功地将它用于大约 3e5 * 1e6 左右的运算符。查看http://www.stanford.edu/group/SOL/software/lsqr.html了解详情。我使用了 Friedlander 的(我认为)C 端口和我已经(匆忙而草率地)移植到 R 的 python 端口。