VC维数与自由度的关系

数据挖掘 机器学习 自习
2021-09-29 09:20:57

我正在研究机器学习,我觉得 VC 维度的概念与更经典的(统计)自由度概念之间存在着密切的关系。

谁能解释这种联系?

2个回答

正如 Yaser Abu-Mostafa 教授所说,

自由度是对有效参数数量的抽象。有效数字基于一个人可以获得多少二分法,而不是使用了多少实值参数。在二维感知器的情况下,可以考虑斜率和截距(加上区域变为 +1 的二进制自由度),或者可以考虑 3 个参数 w_0、w_1、w_2(尽管权重可以是在不影响结果假设的情况下同时按比例放大或缩小)。然而,自由度是 3,因为我们可以灵活地粉碎 3 个点,而不是因为计算参数数量的一种或另一种方式。

二维感知器

VC 维度在本文第 2.1 节中得到了很好的解释,并进一步给出了基本的引理和证明。你可以通过这个。