为什么 KNN 是非线性分类器?

机器算法验证 机器学习 物流 线性模型 k-最近邻 非线性
2022-02-08 13:32:13

我们如何确定分类器是线性的还是非线性的?

什么属性/特征使分类器线性或非线性?

例如:为什么 SVM 是线性分类器?为什么逻辑回归是线性分类器,即使它使用的是非线性函数的逻辑函数?

1个回答

如果分类器在特征空间上的决策边界是线性函数,则分类器是线性的:正样本和负样本由超平面分隔。

根据定义,这就是 SVM 在不使用内核技巧的情况下所做的事情。

逻辑回归也使用线性决策边界。想象一下,您训练了一个逻辑回归并获得了系数如果 ,您可能想要对测试记录进行分类。通过逻辑回归获得概率的地方: 如果你计算出你看到的数学,在特征空间上定义了一个超平面,它将正例与负例分开。βix=(x1,,xk)P(x)>0.5

P(x)=11+e(β0+β1x1++βkxk)
P(x)>0.5

使用 NN,您通常没有超平面。想象一些密集的正点区域。围绕这些点对测试实例进行分类的决策边界看起来像一条曲线,而不是超平面。k