什么时候选择 SVM 的梯度下降而不是 liblinear?
数据挖掘
支持向量机
优化
梯度下降
2022-02-04 18:50:49
1个回答
正如评论中提到的,如果问题是什么时候使用坐标下降而不是随机梯度下降有意义,那么坐标下降的一个优点是,它一次只更新一个参数。因此,当数据具有非常多的特征时,使用坐标下降而不是随机梯度下降可能更有意义,因为 SGD 将尝试同时更新所有模型参数。此外,对于大量数据,CD 的计算复杂度可能低于 SGD。此外,当函数不可微时,使用坐标下降进行优化是有意义的。虽然,有一些方法可以将不可微函数转换为可微函数,但坐标下降仍然可能是前进的方法之一。例如,坐标下降是一种用 L1 惩罚优化损失的好方法。它被认为是 Lasso 回归和线性 SVM 的最先进技术。
其它你可能感兴趣的问题