回归模型的VC维度

机器算法验证 回归 机器学习 vc-维度
2022-02-26 10:51:15

在“从数据中学习”系列讲座中,教授提到 VC 维度衡量模型的复杂性,即给定模型可以粉碎多少点。因此,这对于分类模型非常有效,如果分类器能够有效地粉碎 k 点,我们可以说 N 个点中的 VC 维度度量将是 K。但我不清楚如何衡量回归模型的 VC 维度?

2个回答

来自统计学习的要素,p。238:

到目前为止,我们只讨论了指标函数的 VC 维度,但这可以扩展到实值函数。一类实值函数的 VC 维数被定义为指标类,其中取 g 范围内的值。g(x,α)1(g(x,α)β>0)β

或者,(稍微)更直观一点,要找到一类实值函数的 VC 维数,可以找到通过对该类实值函数进行阈值化形成的指示函数类的 VC 维数。

有关使用 Lebesgue-Stieltjes 度量的阈值指标技巧的推导,请参见统计学习 (Vapnik) 的第 5.2 节。AFAIK 这是唯一且明确的参考。您应该已经知道在哪里可以找到这本书(以及来自 Vapnik 的其他书,它们都是最高级的)。