在所有可能的分类器中(包括 SVM、局部加权回归、softmax 回归,还有很多我确定我不知道的其他分类器等),它们在某些高维空间中都是线性的吗?
例如,具有高斯核的 SVM 在无限维空间中是线性的。
答案是肯定的!
可以使用Cover定理来证明这一点。
备注 1:通过“在某些高维空间中线性”,我们在这里假设对于任何分类器,在更高维中存在等效的线性分类器(即,对于任何可能的输入,产生与原始分类器相同的结果的决策超平面)。
备注 2:对于可数域上的任何分类器来说绝对正确(例如,所有可能的 8 位 RGB 256x256 图像都非常大,但仍然是可数域)。
对于不可数域(如实数域)上的分类器,答案将取决于Cover定理是否适用于无限多的点。但是,我宁愿不用担心,因为在经典计算机上实现的所有现实世界分类器都是离散的 :-)
备注3:当然,分类器必须是确定性的......