我在 quora https://www.quora.com/What-are-the-advantages-of-different-classification-algorithms上阅读这篇文章 它在这里指出：-“逻辑回归是一种表现良好的分类算法，只要您期望您的特征大致是线性的并且问题是线性可分的，就可以进行训练” 特征线性是什么意思？帖子中出现的另一个地方是“Tree Ensembles 与 LogisticR 相比具有不同的优势。一个主要优势是他们不期望线性特征”我不确定线性特征是什么意思？
逻辑回归-线性特征
机器算法验证
回归
机器学习
物流
数据挖掘
2022-04-11 02:57:59
2个回答
我认为他们使用的术语可能不是标准术语。我想这意味着决策边界可以用超平面粗略近似。（二维空间中的一条线）。这是二维空间中“线性特征”（A）或非（B）的两个示例。
这是我对一个非常相关的问题的回答，可能对您有所帮助。
对于线性可分性的另一种观点（假设这就是线性特征的含义），假设您有一个简单的数据集，sex它具有二进制、分类协变量和results某些实验的二进制结果。
sex outcome
m 1
m 1
m 0
f 0
f 0
f 0
对于二元响应数据（即像这样），通常使用逻辑回归来建模outcome = 1给定sex. 但是，如果您的输入是sex = f. 然后：
因为我们没有这种情况发生的培训示例。通过这种方式，我们说根据上面@hxd1011 的图像，数据是线性可分的。
事实上，如果你试图拟合逻辑回归，你可能会得到一个错误，因为 MLE 估计趋于无穷大（除非你的计算机软件有一个参数可以阻止算法，通常是IRLS，继续寻找最小值）。如果你得到这样的数据并想使用逻辑回归，你可以查看惩罚逻辑回归。这是关于它的好文章。
其它你可能感兴趣的问题