所有分类器在某些高维空间中都是线性的吗?

数据挖掘 分类 理论
2021-09-27 07:19:24

在所有可能的分类器中(包括 SVM、局部加权回归、softmax 回归,还有很多我确定我不知道的其他分类器等),它们在某些高维空间中都是线性的吗?

例如,具有高斯核的 SVM 在无限维空间中是线性的。

1个回答

答案是肯定的!

可以使用Cover定理来证明这一点。

备注 1:通过“在某些高维空间中线性”,我们在这里假设对于任何分类器,在更高维中存在等效的线性分类器(即,对于任何可能的输入,产生与原始分类器相同的结果的决策超平面)。

备注 2:对于可数域上的任何分类器来说绝对正确(例如,所有可能的 8 位 RGB 256x256 图像都非常大,但仍然是可数域)。

对于不可数域(如实数域)上的分类器,答案将取决于Cover定理是否适用于无限多的点。但是,我宁愿不用担心,因为在经典计算机上实现的所有现实世界分类器都是离散的 :-)

备注3:当然,分类器必须是确定性的......