FTRL 可以应用于线性最小二乘法吗?还是仅适用于逻辑回归模型?

数据挖掘 逻辑回归 线性回归 梯度下降 在线学习
2022-03-11 15:28:21

我正在探索follow-the-regularized-leader FTRL 近端梯度下降: 论文参考实现

到处提到 FTRL,梯度下降的损失面是LogLoss,预测模型是Logistic regression

我可以对线性最小二乘模型使用相同的算法吗?我有一个问题,我想用 a 建模linear model并定义损失least squares,然后进行 FTRL 以找到最佳解决方案 - 你觉得有什么问题吗?

谢谢。

1个回答

正如我们所看到的,FTRL 与我们的模型无关,它只是作为逼近最优解的一种方式,就像 SGD 一样。

Logloss 只是分类问题中的一种损失模式,它还有其他替代方案,例如 ExpLoss。最小二乘损失是回归问题中所有损失模式之一。

之所以到处提到FTRL,主要以Logloss为例,是因为它经常用于分类问题,例如在线广告场景中的CTR模型。

希望这可以帮助你,祝你好运!