我们如何定义线性可分问题?

数据挖掘 深度学习 感知器 线性代数
2021-10-08 22:28:55

当我们谈论感知器时,我们说它们仅限于逼近线性可分的函数,而使用非线性变换的神经网络则不然。

我很难理解这种线性可分性的想法。具体来说,它是仅适用于二元分类还是泛化为 N 个类别?如果是这样,让我们​​说 4 个类的线性决策边界看起来如何?

2个回答

1.) 感知器是一种非线性变换!

2.)线性可分离函数仅为布尔函数定义,请参阅Wikipedia因此,是的,该语句仅用于二进制分类。

3.) 对于一般函数,请参见通用逼近定理

我将尝试在分类场景中解释这个问题。假设我们从两类图像开始,比如狗和猫。我们被要求对图像进行分类,无论给定的测试图像是狗还是猫。想象一下我们得到的图像是8×8. 所以每个图像都由一个8×8=64维向量。对于训练数据集,一张这样的训练图像将在这个 64 维空间中形成一个数据点。经过大量猫狗图像的训练数据,比如 1000 个训练猫图像和 1000 个训练狗图像,我们在 64 维空间中得到 2000 个这样的点。如果在那个空间中,可以使用 64 维超平面对点进行分类,那么它是线性可分的。如果不是,我们可以使用kernel,它是给定图像的非线性函数,它将64维空间转移到更高的空间(超过64,我们可以找到线性可分性。一句话,每个问题都是线性可分的. 更多信息可以通过线性支持向量机和核支持向量机。