逻辑回归和线性回归有什么区别?

数据挖掘 机器学习 神经网络 线性回归 逻辑回归 损失函数
2022-03-03 13:28:24

我知道线性回归做“回归”,逻辑回归做“分类”。当我们实现这两种方法时,我能注意到的唯一区别是损失函数:线性回归使用像均方误差这样的损失函数,而逻辑使用交叉熵。还有其他我不知道的区别吗?

2个回答

正如您所提到的,线性回归的输出是一个实数值,而逻辑回归代表类(分类)。他们的主要区别是这个。

线性回归的损失函数是凸的,这意味着您始终可以使用常规优化找到最佳点,而如果将其用于逻辑回归,您可能会陷入非最佳的非全局最小值。因此,人们取该损失的对数并将其称为交叉熵。对于简单的逻辑回归任务,它是凸的。

另一个需要注意的区别是通常应用于不同任务的非线性。对于逻辑回归,人们习惯上使用非线性部分,如线性部分TanhSigmoid在线性部分之后,权重和输入的内积,用于指定与类的相似性10典型的二元分类。对于线性回归,人们通常使用Linear激活函数。这里有一点。使用线性激活的想法不是因为需要使用线性函数。使用它是因为它的输出不受限制因此,您可以使用其他one-to-one受限制和不受限制的功能。考虑y=x3举个例子。

逻辑回归用于分类。

线性回归用于预测。

给定一组特征,逻辑回归使用 sigmoid 函数来查找它属于 0 类还是 1 类。示例:可以使用逻辑回归预测事件的成功或失败。

在线性回归中,给定一组特征,用于预测输出值。可以使用线性回归找到公司的销售额。

即使regression在逻辑回归中有工作,它也是一种分类算法。