我正在研究机器学习,我觉得 VC 维度的概念与更经典的(统计)自由度概念之间存在着密切的关系。
谁能解释这种联系?
正如 Yaser Abu-Mostafa 教授所说,
自由度是对有效参数数量的抽象。有效数字基于一个人可以获得多少二分法,而不是使用了多少实值参数。在二维感知器的情况下,可以考虑斜率和截距(加上区域变为 +1 的二进制自由度),或者可以考虑 3 个参数 w_0、w_1、w_2(尽管权重可以是在不影响结果假设的情况下同时按比例放大或缩小)。然而,自由度是 3,因为我们可以灵活地粉碎 3 个点,而不是因为计算参数数量的一种或另一种方式。
VC 维度在本文第 2.1 节中得到了很好的解释,并进一步给出了基本的引理和证明。你可以通过这个。