VC维数与自由度的关系

机器算法验证 机器学习 自习 vc-维度
2022-04-02 12:20:05

我正在研究机器学习,我觉得 VC 维度的概念与更经典的(统计)自由度概念之间存在着密切的关系。

谁能解释这种联系?

1个回答

Yaser Abu-Mostafa --- 用数据学习

自由度是对有效参数数量的抽象。有效数字基于一个人可以获得多少二分法,而不是使用了多少实值参数。在二维感知器的情况下,可以考虑斜率和截距(加上区域变为 +1 的二进制自由度),或者可以考虑 3 个参数 w_0、w_1、w_2(尽管权重可以是在不影响结果假设的情况下同时按比例放大或缩小)。然而,自由度是 3,因为我们可以灵活地粉碎 3 个点,而不是因为计算参数数量的一种或另一种方式。

二维感知器