我正在从 Andrew Ng 斯坦福大学的讲座中学习机器学习,并且刚刚遇到了 VC 维度的理论。根据讲座和我的理解,VC维度的定义可以如下:
如果你能找到一组点,以便它可以被分类器粉碎(即分类所有可能的标签正确),你找不到任何一组 可以粉碎的点(即对于任何一组 点有至少一个标注顺序,使得分类器不能正确分离所有点),则 VC 维度为 .
教授还举了一个例子,很好地解释了这一点。这是:
让,
那么任何3个点都可以分类为 正确分离超平面,如下图所示。
这就是为什么 VC 维度 是 3。因为对于 2D 平面中的任意 4 个点,线性分类器不能粉碎所有点的组合。例如,
对于这组点,无法绘制分离超平面来对这组点进行分类。所以VC维度是3。
直到这里我才明白。但是,如果我们遵循某种模式呢?
或者三点重合的图案,这里也不能画出三点之间的分离超平面。但在 VC 维度的定义中仍然没有考虑这种模式。为什么?我在 16:24观看的讲座也讨论了同一点,但教授没有提到这背后的确切原因。
任何直观的解释示例将不胜感激。谢谢