线性感知器回归和LS线性回归有什么区别?

机器算法验证 回归 机器学习
2022-03-17 19:53:31

最近,我参与的一个项目使用线性感知器进行多重(21 个预测器)回归。它使用随机 GD。这与 OLS 线性回归有何不同?

1个回答

scikit-learn 的Perceptron类(相当于SGDClassifier(loss="perceptron", penalty=None, learning_rate="constant", eta0=1))使用以下目标函数: 在这种情况下,y_i \in \{-1, 1\}如果w^T x_i符号正确,则不会产生任何损失;否则,它会产生线性损失。特别是感知器使用固定的学习率,这也可能导致一些优化怪异。

1Ni=1Nmax(0,yiwTxi).
yi{1,1}wTxi

相比之下,最小二乘回归使用 这里可以是任何实数;中给它分类目标,但它不会给你一个很好的模型。如果你愿意,你可以优化它。

1Ni=1N(yiwTxi)2.
yi{1,1}SGDRegressor(loss="squared_loss", penalty=None)

两者定义了根本不同的模型:感知器用预测实数值这个答案谈到了为什么尝试使用回归算法解决分类问题可能会出现问题。sign(wTxi)wTxi