矩形的VC尺寸

机器算法验证 分类 vc-维度
2022-02-16 15:55:16

Ethem Alpaydın 的“机器学习简介”一书指出,轴对齐矩形的 VC 维度是 4。但是,矩形如何用交替的正负点粉碎一组四个共线点?

有人可以解释和证明矩形的 VC 尺寸吗?

3个回答

tl; dr:您对 VC 维度的定义不正确。

矩形的 VC 维度是可以被矩形打散的最大点集的基数。

矩形的 VC 维数是 4,因为存在一组 4 个点可以被一个矩形打散,而任何 5 个点的集合都不能被一个矩形打散。因此,虽然一个矩形确实不能粉碎一组正负交替的四个共线点,但 VC 维数仍然是 4,因为存在一个可以粉碎的 4 个点的配置。

算法的 VC 维度是最大点数,使得

  • 存在一些点的布局,使得

  • 对于这些点的所有标签,算法不会出错

事实上,有四个点的布局(如菱形),这样一个矩形可以将任何一组正点与其他点分开。存在矩形将失败的四个点的布局是无关紧要的。

这是一个带有图表的文章

把它想象成你和对手之间的游戏。您选择点的位置,然后对手随意标记它们。如果他通过找到无法粉碎的标签获胜,则 VC 维度小于点数,但如果您获胜,则 VC 维度等于或大于点数。在您的问题中,您不是被迫选择那种排列方式,您可以找到更好的积分排列方式,从而让您获胜。